Document (#39942)

Author

Menge-Sonnentag, R.

Title

Google veröffentlicht einen Parser für natürliche Sprache

Source

heise Developer (13.05.2016), [http://www.heise.de/developer/meldung/Google-veroeffentlicht-einen-Parser-fuer-natuerliche-Sprache-3207846.html]

Year

2016

Abstract

SyntaxNet zerlegt Sätze in ihre grammatikalischen Bestandteile und bestimmt die syntaktischen Beziehungen der Wörter untereinander. Das Framework ist Open Source und als TensorFlow Model implementiert. Ein Parser für natürliche Sprache ist eine Software, die Sätze in ihre grammatikalischen Bestandteile zerlegt. Diese Zerlegung ist notwendig, damit Computer Befehle verstehen oder Texte übersetzen können. Die digitalen Helfer wie Microsofts Cortana, Apples Siri und Google Now verwenden Parser, um Sätze wie "Stell den Wecker auf 5 Uhr!" richtig umzusetzen. SyntaxNet ist ein solcher Parser, den Google als TensorFlow Model veröffentlicht hat. Entwickler können eigene Modelle erstellen, und SnytaxNet bringt einen vortrainierten Parser für die englische Sprache mit, den seine Macher Parsey McParseface genannt haben.

Content

"Syntaktische Beziehungen Der Parser teilt den Wörtern eine syntaktische Funktion zu und untersucht die syntaktischen Beziehungen zwischen den Einzelteilen. Den englischen Beispielsatz aus dem Blog-Beitrag "Alice saw Bob" analysiert er folgendermaßen: "Alice" und "Bob" sind Substantive, und "saw" ist ein Verb. Letzteres ist gleichzeitig die Wurzel (ROOT), von der die restlichen Beziehungen ausgehen. Alice ist das zugehörige Subjekt (nsubj) und Bob das Objekt (dobj). Längere Sätze werden leicht mehrdeutig. Beispielsweise ist im Satz "Alice sah Bob mit dem Fernglas" nicht erkennbar, wer von den beiden das Fernglas in der Hand hält. Rein syntaktisch ist auch der Satz "Peter schneidet das Brot mit Sonnenblumenkernen" mehrdeutig. Das menschliche Gehirn erkennt die richtige Bedeutung recht zuverlässig, aber für maschinelle Parser stellen sie eine Herausforderung dar.
SyntaxNet nutzt zur Entscheidung neuronale Netze und versucht die Abhängigkeiten richtig zuzuordnen. Damit "lernt" der Parser, dass es schwierig ist, Sonnenblumenkerne zum Schneiden einzusetzen, und sie somit wohl eher Bestandteil des Brots als ein Werkzeug sind. Die Analyse beschränkt sich jedoch auf den Satz selbst. Semantische Zusammenhänge berücksichtigt das Modell nicht. So lösen sich manche Mehrdeutigkeiten durch den Kontext auf: Wenn Alice im obigen Beispiel das Fernglas beim Verlassen des Hauses eingepackt hat, wird sie es vermutlich benutzen. Trefferquote Mensch vs. Maschine Laut dem Blog-Beitrag kommt Parsey McParseface auf eine Genauigkeit von gut 94 Prozent für Sätze aus dem Penn Treebank Project. Die menschliche Quote soll laut Linguisten bei 96 bis 97 Prozent liegen. Allerdings weist der Beitrag auch darauf hin, dass es sich bei den Testsätzen um wohlgeformte Texte handelt. Im Test mit Googles WebTreebank erreicht der Parser eine Genauigkeit von knapp 90 Prozent."

Footnote

Download unter: https://github.com/tensorflow/models/tree/master/syntaxnet. Dort befinden sich auch weitere Information zu dem Modell sowie Vergleichszahlen zur Erkennungsrate.

Theme

Computerlinguistik

Object

SyntaxNet

Similar documents (content)

1. Manhart, K.: Digitales Kauderwelsch : Online-Übersetzungsdienste (2004) 0.10

   0.09725317 = sum of:
     0.09725317 = product of:
       0.40522155 = sum of:
         0.08502459 = weight(abstract_txt:englische in 3077) [ClassicSimilarity], result of:
           0.08502459 = score(doc=3077,freq=3.0), product of:
             0.108573206 = queryWeight, product of:
               1.0770396 = boost
               8.267481 = idf(docFreq=30, maxDocs=44421)
               0.012193202 = queryNorm
             0.7831084 = fieldWeight in 3077, product of:
               1.7320508 = tf(freq=3.0), with freq of:
                 3.0 = termFreq=3.0
               8.267481 = idf(docFreq=30, maxDocs=44421)
               0.0546875 = fieldNorm(doc=3077)
         0.013460647 = weight(abstract_txt:einen in 3077) [ClassicSimilarity], result of:
           0.013460647 = score(doc=3077,freq=1.0), product of:
             0.05773697 = queryWeight, product of:
               1.1107398 = boost
               4.263084 = idf(docFreq=1699, maxDocs=44421)
               0.012193202 = queryNorm
             0.2331374 = fieldWeight in 3077, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               4.263084 = idf(docFreq=1699, maxDocs=44421)
               0.0546875 = fieldNorm(doc=3077)
         0.060586903 = weight(abstract_txt:übersetzen in 3077) [ClassicSimilarity], result of:
           0.060586903 = score(doc=3077,freq=1.0), product of:
             0.12492591 = queryWeight, product of:
               1.1553049 = boost
               8.868255 = idf(docFreq=16, maxDocs=44421)
               0.012193202 = queryNorm
             0.48498267 = fieldWeight in 3077, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               8.868255 = idf(docFreq=16, maxDocs=44421)
               0.0546875 = fieldNorm(doc=3077)
         0.026494505 = weight(abstract_txt:können in 3077) [ClassicSimilarity], result of:
           0.026494505 = score(doc=3077,freq=3.0), product of:
             0.06287435 = queryWeight, product of:
               1.1591032 = boost
               4.448705 = idf(docFreq=1411, maxDocs=44421)
               0.012193202 = queryNorm
             0.42138815 = fieldWeight in 3077, product of:
               1.7320508 = tf(freq=3.0), with freq of:
                 3.0 = termFreq=3.0
               4.448705 = idf(docFreq=1411, maxDocs=44421)
               0.0546875 = fieldNorm(doc=3077)
         0.05585423 = weight(abstract_txt:sprache in 3077) [ClassicSimilarity], result of:
           0.05585423 = score(doc=3077,freq=1.0), product of:
             0.17066501 = queryWeight, product of:
               2.3388546 = boost
               5.98444 = idf(docFreq=303, maxDocs=44421)
               0.012193202 = queryNorm
             0.32727405 = fieldWeight in 3077, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               5.98444 = idf(docFreq=303, maxDocs=44421)
               0.0546875 = fieldNorm(doc=3077)
         0.16380069 = weight(abstract_txt:sätze in 3077) [ClassicSimilarity], result of:
           0.16380069 = score(doc=3077,freq=1.0), product of:
             0.349664 = queryWeight, product of:
               3.3477764 = boost
               8.565973 = idf(docFreq=22, maxDocs=44421)
               0.012193202 = queryNorm
             0.46845168 = fieldWeight in 3077, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               8.565973 = idf(docFreq=22, maxDocs=44421)
               0.0546875 = fieldNorm(doc=3077)
       0.24 = coord(6/25)
   

2. Schmidt, G.: Informationsmanagement : Modelle, Methoden, Techniken (1996) 0.09

   0.09082224 = sum of:
     0.09082224 = product of:
       0.75685203 = sum of:
         0.17688294 = weight(abstract_txt:zerlegung in 731) [ClassicSimilarity], result of:
           0.17688294 = score(doc=731,freq=1.0), product of:
             0.14706501 = queryWeight, product of:
               1.253502 = boost
               9.622026 = idf(docFreq=7, maxDocs=44421)
               0.012193202 = queryNorm
             1.2027533 = fieldWeight in 731, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               9.622026 = idf(docFreq=7, maxDocs=44421)
               0.125 = fieldNorm(doc=731)
         0.23903629 = weight(abstract_txt:bestandteile in 731) [ClassicSimilarity], result of:
           0.23903629 = score(doc=731,freq=1.0), product of:
             0.22648422 = queryWeight, product of:
               2.199907 = boost
               8.443371 = idf(docFreq=25, maxDocs=44421)
               0.012193202 = queryNorm
             1.0554214 = fieldWeight in 731, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               8.443371 = idf(docFreq=25, maxDocs=44421)
               0.125 = fieldNorm(doc=731)
         0.34093282 = weight(abstract_txt:zerlegt in 731) [ClassicSimilarity], result of:
           0.34093282 = score(doc=731,freq=1.0), product of:
             0.28697315 = queryWeight, product of:
               2.4763155 = boost
               9.504243 = idf(docFreq=8, maxDocs=44421)
               0.012193202 = queryNorm
             1.1880304 = fieldWeight in 731, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               9.504243 = idf(docFreq=8, maxDocs=44421)
               0.125 = fieldNorm(doc=731)
       0.12 = coord(3/25)
   

3. Schmidt, G.: Informationsmanagement : Modelle, Methoden, Techniken (1999) 0.09

   0.09082224 = sum of:
     0.09082224 = product of:
       0.75685203 = sum of:
         0.17688294 = weight(abstract_txt:zerlegung in 5044) [ClassicSimilarity], result of:
           0.17688294 = score(doc=5044,freq=1.0), product of:
             0.14706501 = queryWeight, product of:
               1.253502 = boost
               9.622026 = idf(docFreq=7, maxDocs=44421)
               0.012193202 = queryNorm
             1.2027533 = fieldWeight in 5044, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               9.622026 = idf(docFreq=7, maxDocs=44421)
               0.125 = fieldNorm(doc=5044)
         0.23903629 = weight(abstract_txt:bestandteile in 5044) [ClassicSimilarity], result of:
           0.23903629 = score(doc=5044,freq=1.0), product of:
             0.22648422 = queryWeight, product of:
               2.199907 = boost
               8.443371 = idf(docFreq=25, maxDocs=44421)
               0.012193202 = queryNorm
             1.0554214 = fieldWeight in 5044, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               8.443371 = idf(docFreq=25, maxDocs=44421)
               0.125 = fieldNorm(doc=5044)
         0.34093282 = weight(abstract_txt:zerlegt in 5044) [ClassicSimilarity], result of:
           0.34093282 = score(doc=5044,freq=1.0), product of:
             0.28697315 = queryWeight, product of:
               2.4763155 = boost
               9.504243 = idf(docFreq=8, maxDocs=44421)
               0.012193202 = queryNorm
             1.1880304 = fieldWeight in 5044, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               9.504243 = idf(docFreq=8, maxDocs=44421)
               0.125 = fieldNorm(doc=5044)
       0.12 = coord(3/25)
   

4. Schmidt, G.: Informationsmanagement : Modelle, Methoden, Techniken (1999) 0.09

   0.09082224 = sum of:
     0.09082224 = product of:
       0.75685203 = sum of:
         0.17688294 = weight(abstract_txt:zerlegung in 1210) [ClassicSimilarity], result of:
           0.17688294 = score(doc=1210,freq=1.0), product of:
             0.14706501 = queryWeight, product of:
               1.253502 = boost
               9.622026 = idf(docFreq=7, maxDocs=44421)
               0.012193202 = queryNorm
             1.2027533 = fieldWeight in 1210, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               9.622026 = idf(docFreq=7, maxDocs=44421)
               0.125 = fieldNorm(doc=1210)
         0.23903629 = weight(abstract_txt:bestandteile in 1210) [ClassicSimilarity], result of:
           0.23903629 = score(doc=1210,freq=1.0), product of:
             0.22648422 = queryWeight, product of:
               2.199907 = boost
               8.443371 = idf(docFreq=25, maxDocs=44421)
               0.012193202 = queryNorm
             1.0554214 = fieldWeight in 1210, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               8.443371 = idf(docFreq=25, maxDocs=44421)
               0.125 = fieldNorm(doc=1210)
         0.34093282 = weight(abstract_txt:zerlegt in 1210) [ClassicSimilarity], result of:
           0.34093282 = score(doc=1210,freq=1.0), product of:
             0.28697315 = queryWeight, product of:
               2.4763155 = boost
               9.504243 = idf(docFreq=8, maxDocs=44421)
               0.012193202 = queryNorm
             1.1880304 = fieldWeight in 1210, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               9.504243 = idf(docFreq=8, maxDocs=44421)
               0.125 = fieldNorm(doc=1210)
       0.12 = coord(3/25)
   

5. Rolland, M.T.: Sprachverarbeitung ohne Parsing? (1997) 0.08

   0.08223917 = sum of:
     0.08223917 = product of:
       0.68532646 = sum of:
         0.030593218 = weight(abstract_txt:können in 467) [ClassicSimilarity], result of:
           0.030593218 = score(doc=467,freq=1.0), product of:
             0.06287435 = queryWeight, product of:
               1.1591032 = boost
               4.448705 = idf(docFreq=1411, maxDocs=44421)
               0.012193202 = queryNorm
             0.48657712 = fieldWeight in 467, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               4.448705 = idf(docFreq=1411, maxDocs=44421)
               0.109375 = fieldNorm(doc=467)
         0.15797962 = weight(abstract_txt:sprache in 467) [ClassicSimilarity], result of:
           0.15797962 = score(doc=467,freq=2.0), product of:
             0.17066501 = queryWeight, product of:
               2.3388546 = boost
               5.98444 = idf(docFreq=303, maxDocs=44421)
               0.012193202 = queryNorm
             0.9256708 = fieldWeight in 467, product of:
               1.4142135 = tf(freq=2.0), with freq of:
                 2.0 = termFreq=2.0
               5.98444 = idf(docFreq=303, maxDocs=44421)
               0.109375 = fieldNorm(doc=467)
         0.4967536 = weight(abstract_txt:parser in 467) [ClassicSimilarity], result of:
           0.4967536 = score(doc=467,freq=1.0), product of:
             0.54718065 = queryWeight, product of:
               5.406556 = boost
               8.30027 = idf(docFreq=29, maxDocs=44421)
               0.012193202 = queryNorm
             0.90784204 = fieldWeight in 467, product of:
               1.0 = tf(freq=1.0), with freq of:
                 1.0 = termFreq=1.0
               8.30027 = idf(docFreq=29, maxDocs=44421)
               0.109375 = fieldNorm(doc=467)
       0.12 = coord(3/25)