Textprobe: Kapitel 2, Neuronale Netze: 2.1, Hintergrund - Eine kurze Geschichte der Neuroinformatik: Die Ursprünge der Neuroinformatik sind die Arbeiten von WARREN MCCULLOCH und WALTER PITTS (1943) und von DONALD HEBB (1949). MCCULLOCH und PITTS beschreiben in ihrem Aufsatz eine mathematisch formalisierte Version eines Neurons, das Schwellenwertneuron: Die Ausgabe des Neurons ist 1, wenn die gewichtete Summe der Eingaben den Schwellenwert des Neurons überschreitet, und 0 andernfalls. MCCULLOCH und PITTS zeigen, dass Netze aus solchen Neuronen beliebige boolesche Funktionen berechnen können. Diesem diskreten Ansatz stehen andere gegenüber, die ein Kontinuum betrachten und auf Differentialgleichungen basieren, um Aussagen über globales Verhalten zu machen; am bekanntesten sind die Arbeiten von Wiener. Auf diesen theoretischen Grundlagen baut die primitive Phase der Neuroinformatik auf, die etwa Mitte der 50er Jahre beginnt. Ausdrücklich als Versuch zur Modellierung des Gehirns wird eine Reihe von Varianten einer Klasse von Maschinen für optische Wahrnehmung untersucht, die Perceptrons. Ein Perceptron berechnet im einfachsten Fall aus einer festen Menge von lokalen Prädikaten über begrenzte Teilbereiche einer (gedachten) Netzhaut ein globales Prädikat über das auf der Netzhaut dargestellte Bild, indem eine gewichtete Summe der einzelnen Prädikate, die die Werte 1 oder 0 besitzen, gegen einen Schwellenwert geprüft wird. Zur Bestimmung der Gewichte wird ein einfacher Algorithmus, Perceptron-Lernregel, der auf schon früher gefundenen mathematischen Grundlagen aufbaut benutzt, die jedoch unter den Neuroinformatikern erst einige Zeit später bekannt werden. Perceptrons und perceptronähnliche Modelle stehen in den folgenden Jahren bei mehreren Gruppen im Mittelpunkt. In dem 1962 von ROSENBLATT veröffentlichten Buch erreicht die Neuroinformatik einen ersten Höhepunkt. Hierin wird neben einer ausführlichen experimentellen Analyse der Fähigkeiten von Perceptrons auch ein Beweis für die Konvergenz der Perceptron-Lernregel aufgeführt. Dieser Beweis besagt, dass die Lernregel für jedes von einem Perceptron darstellbarem Prädikat auch eine Lösung findet. Rosenblatt ist ein begeisterter Advokat des Perceptron. Nicht zuletzt diese Ausstrahlung führt dazu, dass sich mit dem Erscheinen des Buches PRINCIPLES OF NEURODYNAMICS, zahlreiche Forscher für das Perceptron begeistern und eine Welle neuer Arbeiten einsetzt, die allerdings kaum Erfolge hervorbringen. Insbesondere wird keine Lernregel für das mehrstufige Perceptron gefunden. Man weiß aber, dass es im allgemeinen leistungsfähiger als das einstufige Perceptron ist. Als 1969 MINSKY und PAPERT ihr berühmtes Buch PERCEPTRONS veröffentlichen, kommt es zu einem abrupten Ende der Begeisterung. Sie liefern in diesem Buch die Theorie, dass einstufige Perceptrons manche Probleme nicht lösen können. Die berühmteste Aussage dieser Theorie lautet, dass ein Perceptron der Ordnung 1 (d. h., dass für jedes lokale Prädikat nur 1 Punkt der Netzhaut ausgewertet wird) die Paritätsfunktion nicht berechnen kann. Die Parität ist das Prädikat, welches angibt, ob die Anzahl der elementaren Punkte auf der Netzhaut, die schwarz sind, gerade ist oder nicht. Die einfachste Form dieses Problems ist der Fall von zwei Punkten; die Paritätsfunktion ist in diesem Fall das Exklusiv-Oder (XOR). Allgemeiner lautet die Aussage, dass alle Probleme, deren positive und negativen Fälle nicht durch eine Hyperebene (bei n lokalen Prädikaten: im n-dimensionalen Raum) voneinander getrennt werden können, auch stets nicht mit einem Perceptron einer Ordnung kleiner n (also insbesondere: fester Ordnung) gelöst werden können; Perceptrons können nur die sogenannten linear separierbaren Probleme lösen. Das Buch von MINSKY und PAPERT wird dahingehend verstanden, dass generell Neuronale Netze keine aussichtsreichen Mechanismen für Lernapparate seien. Die genaue Intention und Rolle des Buches ist strittig. Für eine andere Sichtweise steht Hecht-Nielsen, sowie der Epilog der Neuausgabe von PERCEPTRONS. Dies hat zwei Konsequenzen: Erstens kommt die neuroinformatische Forschung lange Zeit fast zum Erliegen und zweitens halten viele Forscher alle grundlegenden Probleme für überwunden, als mit dem Backpropagation-Verfahren später ein Lernalgorithmus gefunden wird, der auch mehrstufige Perceptrons zu trainieren erlaubt und mit dessen Hilfe folglich auch nicht linear trennbare Probleme gelöst werden können. BRYSON und HO beschreiben 1969 Verfahren zur Lösung von Regelungsproblemen, die das heute unter dem Namen Backpropagation bekannte Lernverfahren als Spezialfall enthalten. Offenbar wird die Arbeit ignoriert, jedenfalls wird die Erfindung in weiteren Forschungsarbeiten nicht berücksichtigt. Daher erfindet WERBOS 1974 das Backpropagation-Verfahren erneut. Wieder wird dieser Erfindung keine Beachtung geschenkt. Ein drittes Mal wird Backpropagation 1985 von PARKER und in ähnlicher Form von LE CUN erfunden und diesmal endlich wahrgenommen, wenn auch hauptsächlich indirekt: 1986 schreibt eine Gruppe um DAVID RUMMELHART und JAMES MCCLELLAND das Buch PARALLEL DISTRIBUTED PROCESSING, das unter anderem das Backpropagation - unter Erwähnung von PARKER und LECUN - vorstellt und damit die zweite große Welle der Neuroinformatik einleitet. Mit der Entdeckung des Backpropagation-Algorithmus beginnt die Phase der Nutzbarmachung der Neuroinformatik. Waren fast alle Anwendungen des Perceptron von hauptsächlich akademischem Interesse, so beginnt jetzt eine Phase hektischen Ausprobierens Neuronaler Netze für so ziemlich jede erdenkliche Anwendung. Zahlreiche Verbesserungen des Backpropagation-Algorithmus, insbesondere zur Beschleunigung des Lernens werden vorgestellt. In ihrer 1988 erschienenen Neuausgabe von PERCEPTRON beklagen MINSKY und PAPERT, dass in all der Begeisterung über die Lösbarkeit nicht linear separierbarer Probleme, die wichtigen Fragen der Skalierbarkeit und Lernkomplexität kaum gestellt bzw. beantwortet werden. Später werden aber große Fortschritte in dieser Richtung erzielt, wenngleich die theoretischen Ergebnisse für praktische Fälle nur selten nützliche Aussagen liefern. Der Höhepunkt der Nutzbarkeit von Neuronalen Netzen ist erreicht. Dagegen hat die industrielle Revolution noch nicht begonnen, steht aber wohl bald bevor. Alle Requisiten sind vorhanden: Erfahrungen mit kleinen Anwendungen, kommerzielles Interesse an umfangreicheren Anwendungen, ernsthafte Ansätze der Theoriebildung und schließlich die nötige Basistechnologie. Im Gegensatz zur symbolischen künstlichen Intelligenz gibt es in der Neuroinformatik kaum Streit um die Frage, dass die bisher realisierten Modelle keine künstliche Intelligenz ausweisen. Die Mechanisierung geistiger Arbeiten ist also noch nicht gelungen. Eine Phase der Verklärung ist in der Neuroinformatik nicht zeitlich abzugrenzen. Zwar sind Ansätze entsprechender Vorstellungen vor allem in der Anfangszeit, später eine Zeitlang nach Erfindung der Backpropagation vorhanden, doch ist den meistens Beteiligten jederzeit klar, dass die Nachbildung menschlichen Gehirns oder größerer Teile davon allein aufgrund der schieren Menge dort realisierter Bauelemente noch für einige Zeit außerhalb der Reichweite verfügbarer technischer Realisierungen bleiben wird.