Interview mit Sepp Hochreiter

"Künstlicher Intelligenz fehlt es noch an Weltverständnis"

Professor Sepp Hochreiter ist Vorstand des Instituts für Machine Learning an der Universität Linz und Leiter des Labors für Artificial Intelligence.

Professor Sepp Hochreiter ist Vorstand des Instituts für Machine Learning an der Universität Linz und Leiter des Labors für Artificial Intelligence.

Bonn. Mit seiner Diplomarbeit legte Professor Sepp Hochreiter die Basis für die moderne Künstliche Intelligenz. Im GA-Interview spricht der 51-Jährige über seine Arbeit, die Zukunft von KI und die Entwicklung in Deutschland.

Die Diplomarbeit von Sepp Hochreiter legt die Basis für die Künstliche Intelligenz (KI), die heute vielfach auf der ganzen Welt im Einsatz ist. Doch dazu wäre es fast nicht gekommen. Denn als Hochreiter seine Untersuchungen zu dynamischen neuronalen Netzen 1991 abschloss, interessierte sich niemand für seine Idee eines Langzeitspeichers, der das menschliche Nervensystem nachahmt. Nur über viele Umwege gelang es Hochreiter gemeinsam mit seinem Lehrer Jürgen Schmidhuber, dass das Thema Ende der 1990er überhaupt publiziert wurde. Richtig Fahrt nahm die Entwicklung aber erst 2009 auf, als Schmidhuber mit dem Ansatz Wettbewerbe gewann. Mit dem Informatiker Sepp Hochreiter sprach Marcel Wolber.

Sie sind auf einem Bauernhof in Bayern aufgewachsen. Wie sind Sie von dort zum Thema Künstliche Intelligenz gekommen?

Sepp Hochreiter: Ich habe an der TU München Informatik und später auch an der Fernuni Hagen Mathematik studiert. Aber das Studium hat mich gelangweilt. Erst ein Kurs von Jürgen Schmidhuber zum Thema neuronale Netze hat mich das erste Mal gefordert. Dort konnte man etwas entdecken und selber Ideen haben. Erst da hat mich das Studium wieder gepackt. Daraufhin habe ich ein Praktikum bei Jürgen Schmidhuber gemacht und später dann auch bei ihm meine Diplomarbeit geschrieben.

Doch Schmidhuber ging nach Amerika, und Ihre Diplomarbeit geriet in Vergessenheit.

Hochreiter: Ja, ich habe die Diplomarbeit abgeschlossen, meine Note bekommen und dann bin ich zur Allianz Versicherung gegangen. Ich konnte nicht einschätzen, ob die Arbeit gut oder schlecht war. Aber im Nachhinein muss man sagen: Die komplette Architektur, die heute in der KI steckt, war in der Diplomarbeit schon drin.

Worum ging es dabei im Kern?

Hochreiter: Es ging um rekurrente neuronale Netze und deren Speicherfähigkeit. Neuronale Netze sind Systeme, die dem Gehirn nachgebildet werden. Und bei rekurrenten Systemen gibt dazu auch rückwärtsgerichtete Verschaltungen. Und das Problem war immer, dass die Systeme über die Zeit vergessen haben. Mit meinem Ansatz des Long short-term memory (LSTM) – meine Diplomarbeit war noch auf Deutsch, da hieß es noch Langzeitspeicher – konnte ich dieses Problem lösen. Das ist der perfekte Speicher. Und das hat Deep Learning erst möglich gemacht.

Und wie ist das Thema doch noch an die Öffentlichkeit gelangt?

Hochreiter: Jürgen Schmidhuber hat das Thema nach seiner Rückkehr 1995 nochmal aufgegriffen. Er hat mir sehr viel geholfen. Ich kam vom Bauernhof, konnte kein Englisch und habe das alles auf dem zweiten Bildungsweg gemacht. Ich konnte auch keine wissenschaftliche Arbeit schreiben. Das hat er mir gezeigt. Und dann haben wir versucht, LSTM zum ersten Mal zu publizieren. Das wurde aber sofort abgelehnt, da hat keiner was von wissen wollen. Auch als es 1996 erstmals und 1997 nochmals größer publiziert wurde, gab es noch viel Unverständnis in der Branche. Erst als Jürgen Schmidhuber 2009 erstmals mit LSTM Wettbewerbe gewann, hat das Thema an Fahrt aufgenommen.

Und ist zu einer Erfolgsgeschichte geworden?

Hochreiter: Ja, die Technologie ist jetzt überall drin. In Android- und iOS-Betriebssystemen auf Smartphones, in Amazons Alexa, bei Facebook und Google. Alle großen Firmen verwenden die Technik zum Beispiel zur Spracherkennung und Textgenerierung. Auch alle Übersetzer basieren darauf und die Textvervollständigung zum Beispiel auf dem Handy. Und auch für selbstfahrende Autos braucht man LSTM.

Es heißt, man hat Ihnen wegen LSTM sogar mal gedroht. Stimmt das?

Hochreiter: Auf einer Konferenz hat der Gründer von Deepmind (eine KI-Firma, die zu Google gehört, Anm. d. Red.) zu mir gesagt: „Lass die Finger von LSTM“. Immer wenn Du eine Idee hast, setzen wir in London 100 und bei Google Brain in Mountain View nochmal 100 Leute daran und überholen Dich. Aber ich habe gesagt: „Ihr könnte Hunderte Leute daran setzen und wir nur zwei oder drei. Aber wir haben mehr Brainpower als ihr.“

Das heißt, Sie haben sich nicht einschüchtern lassen?

Hochreiter: Nein. Es geht manchmal auch darum, gute Ideen zu haben und die Sache zu verstehen. Und die haben beim LSTM auch sehr viel falsch gemacht, weil sie es nicht verstanden haben. Ich habe jahrelang damit gearbeitet, als sich niemand dafür interessiert hat, und Erfahrungen gesammelt. Das ist schwer für andere aufzuholen. Ich habe einfach ein Gefühl dafür, wie die Architektur auf verschiedene Dinge reagiert.