Computationelle Neurolinguistik
-
Peter beim Graben
and Heiner Drenhaus
Abstract
Computational neurolinguistics integrates methods from computational (psycho-)linguistics and computational neuroscience in order to model neural correlates of linguistic behavior. We illustrate these techniques using an example of the language processing of German negative polarity items (NPI) in the event-related brain potential (ERP) paradigm. To that aim, we first describe the syntactic and semantic licensing conditions of NPIs by means of slightly modified minimalist grammars. In a second step we use dynamic cognitive modeling (DCM) to map the state descriptions of a minimalist parser onto activation patterns of a neural network. Thirdly, the network’s synaptic weights are trained with the correct parse of NPI constructions. Using these weights we calculate neural harmony measures for correct and for ungrammatical NPI constructions. In a final step we correlate the harmonies of the dynamical model with experimentally obtained ERP amplitudes by means of a simple statistical model.
Danksagung
Wir danken den Herausgebern der Zeitschrift für Germanistische Linguistik für die freundliche Einladung zu diesem Beitrag und Sabrina Gerth, Andreas Farner, Stefan Frisch, Greg Kobele und Hans-Martin Gärtner für hilfreiche Unterstützung. Diese Arbeit wurde durch ein Heisenberg-Stipendium (GR 3711/1-1) der Deutschen Forschungsgemeinschaft gefördert.
Anhang
In diesem Anhang präsentieren wir die minimalistischen Ableitung des korrekten Satzes 1 und die scheiternden Ableitungen der ungrammatischen Sätze 2 und 3 im Ketten-Formalismus (Stabler & Keenan 2003), der auch unserem minimalistischen bottom-up Parser zugrunde liegt. Eine minimalistische Kette ist eine Abfolge von lexikalischem Material, gefolgt von einem Typen („::“ = lexikalisch, „:“ = abgeleitet) und einer Liste syntaktischer Merkmale, wie sie im Abschnitt 2.1.1 diskutiert wurde. Ein minimalistischer Ausdruck, hinwiederum, ist eine Liste von Ketten. Die erste Kette in einem Ausdruck ist sein Kopf, der die strukturaufbauenden Funktionen „merge“ und „move“ steuert, die bei Ketten Fallunterscheidungen erforderlich machen. Diese lassen sich in Form von Schlussschemata angeben:
Seien s,t Sequenzen von Worten, f ein Merkmal, γ,δ Merkmalslisten, ⋅∈{::,:} und αi, βj Ketten (i,j,k,l natürliche Zahlen), dann ist merge definiert durch die Schlussschemata:
Entsprechend ist move gegeben durch:
Im Rahmen unserer MG-Modifikation definieren wir erstens die nichtkanonische Bewegung (s. Abb. 3):
wobei δ eine Folge von Lizensierern ist. Und zweitens die koverte Bewegung
mit schwachen Merkmalen +f,−f.
Mit diesen Regeln lautet die Ableitung des Relativsatzes nach der von Hale (2003, 2006) ausgearbeiteten minimalistischen Promotionsanalyse:
Für den korrekten Satz 1 lautet die Fortsetzung:
Dieser Satz hat Kategorie c und ist daher wohlgeformt.
Im Gegensatz dazu scheitert die Ableitung von Satz 3 daran, dass das NPI mit Merkmal -npi nicht durch den korrespondierenden Lizensierer +npi lizensiert wird:
Interessanterweise scheitert die Ableitung von 2,
daran, dass der Lizensierer +npi bereits den merger mit (pret)::V= =d +NOM t blockiert.
Literatur
Anderson, J. A. & Rosenfeld, E., Hrsg. (1988). Neurocomputing. Foundations of Research, Bd. 1. MIT Press, Cambridge (MA).Search in Google Scholar
Anderson, J. R. (1996). Kognitive Psychologie. Spektrum, Heidelberg.Search in Google Scholar
Blutner, R. (2011). Taking a broader view: Abstraction and idealization. Theoretical Linguistics, 37(1-2):27–35.Search in Google Scholar
Braitenberg, V. & Pulvermüller, F. (1992). Entwurf einer neurologischen Theorie der Sprache. Naturwissenschaften, 79:103–117.Search in Google Scholar
Carstensen, K.-U., Ebert, C., Ebert, C., Jekat, S., Klabunde, R., & Langer, H., Hrsg. (2010). Computerlinguistik und Sprachtechnologie. Spektrum, Heidelberg.10.1007/978-3-8274-2224-8Search in Google Scholar
Christiansen, M. H. & Chater, N. (1999). Toward a connectionist model of recursion in human linguistic performance. Cognitive Science, 23(4):157–205.Search in Google Scholar
Christiansen, M. H., Chater, N., & Seidenberg, M. S., Hrsg. (1999). Sonderband Connectionist Models of Human Language Processing. Cognitive Science, 23(4).10.1207/s15516709cog2304_2Search in Google Scholar
Churchland, P. S. & Sejnowski, T. J. (1997). Grundlagen zur Neuroinformatik und Neurobiologie. The Computational Brain in deutscher Sprache. Vieweg, Braunschweig.10.1007/978-3-322-86821-3Search in Google Scholar
Crocker, M. W. (1996). Computational Psycholinguistics. Kluwer, Dordrecht.10.1007/978-94-009-1600-5Search in Google Scholar
Delorme, A. & Makeig, S. (2004). EEGLAB: An open source toolbox for analysis of single-trial EEG dynamics including independent component analysis. Journal of Neuroscience Methods, 134:9–21.Search in Google Scholar
Dennett, D. C. (1978). Intentional Systems, chapter 1. MIT Press, Cambidge (MA). Nachdruck aus Journal of Philosopy 68(4), 87–106, 1971. Deutsch: „Intentionale Systeme“. In P. Bieri: Analytische Philosophie des Geistes, S. 162–183, 1997.Search in Google Scholar
Dowty, D. R., Karttunen, L., & Zwicky, A. M., Hrsg. (1985). Natural Language Parsing. Psychological, Computational, and Theoretical Perspectives. Cambridge University Press.10.1017/CBO9780511597855Search in Google Scholar
Drenhaus, H. & beim Graben, P. (2012). Ereigniskorrelierte Potentiale (EKPs). Zeitschrift für Germanistische Linguistik, in diesem Band.10.1515/zgl-2012-0005Search in Google Scholar
Drenhaus, H., beim Graben, P., Saddy, D., & Frisch, S. (2006). Diagnosis and repair of negative polarity constructions in the light of symbolic resonance analysis. Brain and Language, 96(3):255–268.Search in Google Scholar
Drenhaus, H., Frisch, S., & Saddy, D. (2005). Processing negative polarity items: When negation comes through the backdoor. In Kepser, S. & Reis, M., Hrsg., Linguistic Evidence-Empirical, Theoretical, and Computational Perspectives, S. 145–164, Berlin / New York. Mouton de Gruyter.10.1515/9783110197549.145Search in Google Scholar
Elman, J. L. (1990). Finding structure in time. Cognitive Science, 14:179–211.Search in Google Scholar
Elman, J. L. (1991). Distributed representations, simple recurrent networks, and grammatical structure. Machine Learning, 7:195–225.Search in Google Scholar
Elman, J. L. (1995). Language as a dynamical system. In Port, R. F. & van Gelder, T., Hrsg., Mind as Motion: Explorations in the Dynamics of Cognition, S. 195–223. MIT Press, Cambridge (MA).Search in Google Scholar
Elman, J. L., Bates, E. A., Johnson, M. H., Karmiloff-Smith, A., Parisi, D., & Plunkett, K. (1996). Rethinking Innateness. A connectionist perspective on development. Neural Network Modeling and Connectionism. MIT Press, Cambridge (MA).Search in Google Scholar
Farkas, I. & Crocker, M. W. (2008). Syntactic systematicity in sentence processing with a recurrent self-organizing network. Neurocomputing, 71:1172–1179.Search in Google Scholar
Friston, K. J. (1997). Transients, metastability, and neuronal dynamics. NeuroImage, 5(2):164–171.Search in Google Scholar
Frey, W. & Gärtner, H.-M. (2002). On the treatment of scrambling and adjunction in minimalist grammars. In Jäger, G., Monachesi, P., Penn, G., & Wintner, S., Hrsg., Proceeding of Formal Grammar, S. 41–52.Search in Google Scholar
Garagnani, M., Wennekers, T., & Pulvermüller, F. (2007). A neuronal model of the language cortex. Neurocomputing, 70:1914–1919.Search in Google Scholar
Gärtner, H.-M. & Jurish, B. (2011). Postmodern linguistics and the prospects of neural syntax: Some polemical remarks. Theoretical Linguistics, 37(1–2):37–44.Search in Google Scholar
Gärtner, H.-M. & Michaelis, J. (2005). A note on the complexity of constraint interaction: Locality conditions and minimalist grammars. In Blache, P., Stabler, E., Busquets, J., & Moot, R., Hrsg., Logical Aspects of Computational Linguistics, S. 3–10. Springer, Berlin.10.1007/11422532_8Search in Google Scholar
Gärtner, H.-M. & Michaelis, J. (2010). On the treatment of multiple-wh-interrogatives in minimalist grammars. In Hanneforth, T. and Fanselow, G., Hrsg., Language and Logos, S. 339–366. Akademie Verlag, Berlin.10.1524/9783050062365.339Search in Google Scholar
Gerth, S. & beim Graben, P. (2009). Unifying syntactic theory and sentence processing difficulty through a connectionist minimalist parser. Cognitive Neurodynamics, 3(4):297–316.Search in Google Scholar
beim Graben, P. (2004). Incompatible implementations of physical symbol systems. Mind and Matter, 2(2):29–51.Search in Google Scholar
beim Graben, P. (2008). Foundations of neurophysics. In beim Graben, P., Zhou, C., Thiel, M., & Kurths, J., Hrsg., Lectures in Supercomputational Neuroscience: Dynamics in Complex Brain Networks, Springer Complexity Series, Kapitel 1. Springer, Berlin.Search in Google Scholar
beim Graben, P., Gerth, S., & Vasishth, S. (2008a). Towards dynamical system models of language-related brain potentials. Cognitive Neurodynamics, 2(3):229–255.10.1007/s11571-008-9041-5Search in Google Scholar
beim Graben, P. & Kurths, J. (2008). Simulating global properties of electroencephalograms with minimal random neural networks. Neurocomputing, 71(4):999–1007.Search in Google Scholar
beim Graben, P. & Potthast, R., Hrsg. (2009a). Sonderband Language Dynamics. Cognitive Neurodynamics, 3(4).10.1007/s11571-009-9091-3Search in Google Scholar
beim Graben, P. & Potthast, R. (2009b). Inverse problems in dynamic cognitive modeling. Chaos, 19(1):015103.10.1063/1.3097067Search in Google Scholar
beim Graben, P., Zhou, C., Thiel, M., & Kurths, J., Hrsg. (2008b). Lectures in Supercomputational Neuroscience: Dynamics in Complex Brain Networks. Springer, Berlin.10.1007/978-3-540-73159-7Search in Google Scholar
Gries, S. T. (2012). Statistische Modellierung. Zeitschrift für Germanistische Linguistik, in diesem Band.10.1515/zgl-2012-0004Search in Google Scholar
Hale, J. T. (2003). Grammar, Uncertainty and Sentence Processing. Dissertation, The Johns Hopkins University.Search in Google Scholar
Hale, J. T. (2006). Uncertainty about the rest of the sentence. Cognitive Science, 30(4):643–672.Search in Google Scholar
Harkema, H. (2001). Parsing Minimalist Languages. Dissertation, University of California, Los Angeles.Search in Google Scholar
Hebb, D. O. (1949). The Organization of Behavior. Wiley, New York (NY). Teilweise nachgedruckt in J. A. Anderson & E. Rosenfeld (1988), S. 45ff.Search in Google Scholar
Hinton, G. E. & Shallice, T. (1991). Lesioning an attractor network: Investigations of acquired dyslexia. Psychological Review, 98(1):74–95.Search in Google Scholar
Hofstadter, D. R. & Dennett, D. C., Hrsg. (1981). Einsicht ins Ich: Fantasien und Reflexionen über Selbst und Seele. Klett-Cotta, Stuttgart.Search in Google Scholar
Hopcroft, J. E. & Ullman, J. D. (1994). Einführung in die Automatentheorie, formale Sprachen und Komplexitätstheorie. Addison-Wesley, Bonn.Search in Google Scholar
Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences of the U.S.A., 79(8):2554–2558. Nachdruck in Anderson & Rosenfeld (1988), S. 460.Search in Google Scholar
Jäger, H. (1996). Dynamische Systeme in der Kognitionswissenschaft. Kognitionswissenschaft, 5:151–174.Search in Google Scholar
Joshi, A. K., Levy, L. S., & Takahashi, M. (1975). Tree adjunct grammars. Journal of Computer and System Sciences, 10(1):136–163.Search in Google Scholar
Joshi, A. K. & Schabes, Y. (1997). Treeadjoining grammars. In Salomma, A. & Rosenberg, G., Hrsg., Handbook of Formal Languages and Automata, S. 69–124. Springer, Berlin.10.1007/978-3-642-59126-6_2Search in Google Scholar
Kandel, E. R., Schwartz, J. H., & Jessel, T. M., Hrsg. (1996). Neurowissenschaften. Eine Einführung. Spektrum der Wissenschaften, Akademischer Verlag, Heidelberg.Search in Google Scholar
Kaplan, D. & Glass, L. (1995). Understanding Nonlinear Dynamics. Springer, New York.10.1007/978-1-4612-0823-5Search in Google Scholar
Kawamoto, A. H. (1993). Nonlinear dynamics in the resolution of lexical ambiguity: A parallel distributed processing account. Journal of Memory and Language, 32:474–516.Search in Google Scholar
Kelso, J. A. S. (1995). Dynamic Patterns. The Self-Organization of Brain and Behavior. MIT Press, Cambrigde (MA).Search in Google Scholar
Lawrence, S., Giles, C. L., & Fong, S. (2000). Natural language grammatical inference with recurrent neural networks. IEEE Transactions on Knowledge and Data Engineering, 12(1):126–140.Search in Google Scholar
Lewis, R. L. (2003). Computational psycholinguistics. In Encyclopedia of Cognitive Science. Macmillan Reference Ltd., London.Search in Google Scholar
Liley, D. T. J., Cadusch, P. J., & Dafilis, M. P. (2002). A spatially continuous mean field theory of electrocortical activity. Network: Computation in Neural Systems, 13:67–113.Search in Google Scholar
Mainguy, T. (2010). A probabilistic top-down parser for minimalist grammars. arXiv:1010.1826 [cs.CL].Search in Google Scholar
McClelland, J. L. & Elman, J. L. (1986). The TRACE model of speech perception. Cognitive Psychology, 18(1):1–86.Search in Google Scholar
McCulloch, W. S. & Pitts, W. (1943). A logical calculus of ideas immanent in nervous activity. Bulletin of Mathematical Biophysics, 5:115–133. Nachdruck in J. A. Anderson & E. Rosenfeld (1988), S. 18ff.Search in Google Scholar
Mizraji, E. (1989). Context-dependent associations in linear distributed memories. Bulletin of Mathematical Biology, 51(2):195–205.Search in Google Scholar
Näätänen, R., Paavilainen, P., Titinen, H., Jiang, D., & Alho, K. (1993). Attention and mismatch negativity. Psychophysiology, 30(5):436 – 450.Search in Google Scholar
Pereira, F. C. N. (1985). A new characterization of attachment preferences. In Dowty et al. (1985), 307–319.10.1017/CBO9780511597855.010Search in Google Scholar
Plaut, D. C. (1996). Relearning after damage in connectionist networks: Toward a theory of rehabilitation. Brain and Language, 52(1):25–82.Search in Google Scholar
Plaut, D. C. & Shallice, T. (1993). Deep dyslexia: A case study of connectionist neuropsychology. Cognitive Neuropsychology, 10(5):377–500.Search in Google Scholar
Plunkett, K. & Elman, J. L. (1997). Exercises in Rethinking Innateness. A Handbook for Connectionist Simulations. Neural Network Modeling and Connectionism. MIT Press, Cambridge (MA).10.7551/mitpress/2906.001.0001Search in Google Scholar
Potthast, R. & beim Graben, P. (2009). Inverse problems in neural field theory. SIAM Jounal on Applied Dynamical Systems, 8(4):1405–1433.Search in Google Scholar
Rabinovich, M. I., Huerta, R., Varona, P., & Afraimovich, V. S. (2008). Transient cognitive dynamics, metastability, and decision making. PLoS Computational Biology, 4(5):e1000072.Search in Google Scholar
Rumelhart, D. E. & McClelland, J. L. (1986). On learning the past tenses of English verbs. In McClelland, J. L., Rumelhart, D. E., & the PDP research group, Hrsg., Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Bd. II. MIT Press, Cambridge (MA).Search in Google Scholar
Schnelle, H. (1996). Approaches to computational brain theories of language. a review of recent proposals. Theoretical Linguistics, 22(1–2):49–104.Search in Google Scholar
Seidenberg, M. S. & McClelland, J. L. (1989). A distributed, developmental model of word recognition and naming. Psychological Review, 96:523–568.Search in Google Scholar
Sejnowski, T. J. & Rosenberg, C. R. (1987). Parallel networks that learn to pronounce English text. Complex Systems, 1:145 – 168.Search in Google Scholar
Shieber, S. M. (1985). Evidence against the context-freeness of natural language. Linguistics and Philosophy, 8:333–343.Search in Google Scholar
Siegelmann, H. T. & Sontag, E. D. (1995). On the computational power of neural nets. Journal of Computer and System Sciences, 50(1):132–150.Search in Google Scholar
Smolensky, P. (1988). On the proper treatment of connectionism. Behavioral and Brain Sciences, 11(1):1–74.Search in Google Scholar
Smolensky, P. (1990). Tensor product variable binding and the representation of symbolic structures in connectionist systems. Artificial Intelligence, 46(1–2):159–216.Search in Google Scholar
Smolensky, P. (2006). Harmony in linguistic cognition. Cognitive Science, 30:779–801.Search in Google Scholar
Smolensky, P. & Legendre, G. (2006a). The Harmonic Mind. From Neural Computation to Optimality-Theoretic Grammar, Bd. 1: Cognitive Architecture. MIT Press, Cambridge (MA).Search in Google Scholar
Smolensky, P. & Legendre, G. (2006b). The Harmonic Mind. From Neural Computation to Optimality-Theoretic Grammar, Bd. 2: Linguistic and Philosophic Implications. MIT Press, Cambridge (MA).Search in Google Scholar
Stabler, E. P. (1997). Derivational minimalism. In Retoré, C., Hrsg., Logical Aspects of Computational Linguistics, S. 68–95. Springer, New York.10.1007/BFb0052152Search in Google Scholar
Stabler, E. P. (2004). Varieties of crossing dependencies: structure dependence and mild context sensitivity. Cognitive Science, 28:699–720.Search in Google Scholar
Stabler, E. P. (2011a). Computational perspectives on minimalism. In Boeckx, C., Hrsg., Oxford Handbook of Linguistic Minimalism, S. 617–641. Oxford University Press.10.1093/oxfordhb/9780199549368.013.0027Search in Google Scholar
Stabler, E. P. (2011b). Top-down recognizers for MCFGs and MGs. In Proceedings of the 2nd Workshop on Cognitive Modeling and Computational Linguistics, S. 39–48, Portland, Oregon, USA. Association for Computational Linguistics.Search in Google Scholar
Stabler, E. P. & Keenan, E. L. (2003). Structural similarity within and among languages. Theoretical Computer Science, 293:345–363.Search in Google Scholar
Tabor, W. (2000). Fractal encoding of context-free grammars in connectionist networks. Expert Systems: The International Journal of Knowledge Engineering and Neural Networks, 17(1):41–56.Search in Google Scholar
Tabor, W., Juliano, C., & Tanenhaus, M. K. (1997). Parsing in a dynamical system: An attractor-based account of the interaction of lexical and structural constraints in sentence processing. Language and Cognitive Processes, 12(2/3):211–271.Search in Google Scholar
Tabor, W. & Tanenhaus, M. K. (1999). Dynamical models of sentence processing. Cognitive Science, 23(4):491–515.Search in Google Scholar
Turing, A. M. (1950). Computing machinery and intelligence. Mind, 59(236). Teilweise nachgedruckt in Hofstadter, D. R. & Dennett, D. C. (1981).10.1093/mind/LIX.236.433Search in Google Scholar
Vasishth, S., Brüssow, S., Lewis, R. L., & Drenhaus, H. (2008). Processing polarity: How the ungrammatical intrudes on the grammatical. Cognitive Science, 32(4):685–712.Search in Google Scholar
Vosse, T. & Kempen, G. (2000). Syntactic structure assembly in human parsing: a computational model based on competitive inhibition and a lexicalist grammar. Cognition, 75:105–143.Search in Google Scholar
Vosse, T. & Kempen, G. (2009). The Unification Space implemented as a localist neural net: Predictions and error-tolerance in a constraint-based parser. Cognitive Neurodynamics, 3(4):331–346.Search in Google Scholar
Wennekers, T., Garagnani, M., & Pulvermüller, F. (2006). Language models based on Hebbian cell assemblies. Journal of Physiology, 100:16–30.Search in Google Scholar
© 2012 Walter de Gruyter GmbH & Co. KG, Berlin/Boston
Articles in the same Issue
- Inhalt
- Aufsätze
- Sprache und Geschlecht im universitären Diskurs [Language and Gender in University Discourse]
- Sprache und Geschlecht im universitären Diskurs
- Themenschwerpunkt „Empirie und Modellierung“
- Einleitung [Introduction]
- Einleitung zum Themenheft Empirie und Modellierung
- Statistische Modellierung [Statistical Modeling]
- Statistische Modellierung
- Ereigniskorrelierte Potenziale (EKPs) [Event-Related Potentials (ERPs)]
- Ereigniskorrelierte Potenziale (EKPs)
- Computationelle Neurolinguistik [Computational Neurolinguistics]
- Computationelle Neurolinguistik
- Berichte
- Empirische Zugänge zur Semantik. Arbeitstagung Linguistische Pragmatik an der Georg-August-Universität Göttingen am 22. Februar 2011 [Empirical Approaches to Semantics. Working Meeting on Linguistic Pragmatics at the University of Göttingen, on February 22nd 2011]
- Empirische Zugänge zur Semantik
- Historische Semantik im Dialog der Fachkulturen. 2. Jahrestagung der Gesellschaft für germanistische Sprachgeschichte e. V. in Heidelberg [Historical Semantics in the Dialogue of Professional Cultures. 2nd Annual Conference of the Society for German Language History in Heidelberg]
- Historische Semantik im Dialog der Fachkulturen
- Linguistik im Internet
- Bildlinguistik (Text und Bild) im Internet [Image Linguistics (Text and Image) on the Internet]
- Bildlinguistik (Text & Bild) im Internet
- Neue Bücher 2011
- Neue Bücher 2011
- Zeitschriftenschau [Journal Review]
- Zeitschriftenschau
Articles in the same Issue
- Inhalt
- Aufsätze
- Sprache und Geschlecht im universitären Diskurs [Language and Gender in University Discourse]
- Sprache und Geschlecht im universitären Diskurs
- Themenschwerpunkt „Empirie und Modellierung“
- Einleitung [Introduction]
- Einleitung zum Themenheft Empirie und Modellierung
- Statistische Modellierung [Statistical Modeling]
- Statistische Modellierung
- Ereigniskorrelierte Potenziale (EKPs) [Event-Related Potentials (ERPs)]
- Ereigniskorrelierte Potenziale (EKPs)
- Computationelle Neurolinguistik [Computational Neurolinguistics]
- Computationelle Neurolinguistik
- Berichte
- Empirische Zugänge zur Semantik. Arbeitstagung Linguistische Pragmatik an der Georg-August-Universität Göttingen am 22. Februar 2011 [Empirical Approaches to Semantics. Working Meeting on Linguistic Pragmatics at the University of Göttingen, on February 22nd 2011]
- Empirische Zugänge zur Semantik
- Historische Semantik im Dialog der Fachkulturen. 2. Jahrestagung der Gesellschaft für germanistische Sprachgeschichte e. V. in Heidelberg [Historical Semantics in the Dialogue of Professional Cultures. 2nd Annual Conference of the Society for German Language History in Heidelberg]
- Historische Semantik im Dialog der Fachkulturen
- Linguistik im Internet
- Bildlinguistik (Text und Bild) im Internet [Image Linguistics (Text and Image) on the Internet]
- Bildlinguistik (Text & Bild) im Internet
- Neue Bücher 2011
- Neue Bücher 2011
- Zeitschriftenschau [Journal Review]
- Zeitschriftenschau