Dazu müsste sie nicht einmal gegen das menschliche Joch rebellieren oder zu der Erkenntnis kommen, dass für alle Beteiligten menschliche Nichtexistenz besser wäre. Sie müsste einfach nur immer effektiver, mit immer mehr Ressourcen das ihr zugedachte Ziel verfolgen – und sei es so etwas Banales wie Büroklammern zu produzieren.

Das Motiv ist nicht neu, es zieht sich vom Golem der frühmittelalterlichen jüdischen Mystik über Mary Shelleys Frankenstein bis zum amoklaufenden Bordcomputer HAL 9000 in Stanley Kubricks Film „2001: Odyssee im Weltraum“ durch die Kulturgeschichte. Viele halten solche Szenarien für Schwarzmalerei, reine Spekulation, für Science-Fiction. Aber Bostrom hat auch prominente Unterstützer wie den im März verstorbene Physiker Stephen Hawking und Tesla-Chef Elon Musk. Fest steht, dass mit immer intelligenter werdenden Maschinen, die in so unterschiedlichen Bereichen wie Krankenpflege und Kriegführung zum Einsatz kommen, eine Flut ethischer Fragen auf uns zurollt, deren Beantwortung aussteht.

Von den hundert weltweit führenden KI-Experten glauben einer Umfrage zufolge neunzig daran, dass künstliche Systeme bis zum Jahr 2070 in jeder Hinsicht das menschliche Intelligenzniveau erreichen werden. „Man muss solchen Umfragen gegenüber auch kritisch sein – niemand der Befragten wird 2070 noch leben, solche Prognosen kosten sie nichts. Es könnte trotzdem sein, dass wir historisch nur diesen ersten Moment haben, um alles richtig zu machen – und keine zweite Chance, die einmal verlorene Kontrolle zurückzugewinnen“, sagt der deutsche Philosoph Thomas Metzinger.

„Das eigentliche Problem ist, dass wir schrittweise Autonomie ans System abgeben. Jeder einzelne Schritt mag ganz vernünftig sein und auch nicht gefährlich. Aber nach und nach könnten unvorhergesehene Effekte eintreten“, so Metzinger, der kürzlich in eine KI-Expertenkommission der EU berufen wurde. Deswegen müssten rote Linien, die nicht überschritten werden dürfen, vorher definiert werden.

Auch Arne Manzeschke, Professor für Ethik und Anthropologie, hält es für lohnenswert, sich die skeptischen Stimmen anzuhören. Es sei unsere große Verantwortung, die Dinge in aller Neugierde und Faszination so zu gestalten, dass wir in der Lage bleiben, sie unter Kontrolle zu halten. „Vor allem: welche Rückholmöglichkeiten bauen wir ein?“

Selbst, dass Maschinen eines Tages künstliches Bewusstsein haben könnten, will Philosoph Metzinger nicht als reine Fiktion abtun. „Wir haben bislang keine Theorie des Bewusstseins. Aber wenn wir sie haben, könnte die Entwicklung künstlichen Bewusstseins ganz schnell gehen.“ Immerhin gebe es weltweit schon drei Labore, die offiziell verkünden, sie wollten das Thema Maschinenbewusstsein angehen.

Er selbst warnt vor diesem Ziel. Denn mit dem künstlichen Bewusstsein könnten die Maschinen wohl auch Leidensfähigkeit entwickeln, müssten so selbst zum Gegenstand ethischer Überlegungen werden. Zu der Frage danach, wie Künstliche Intelligenz und ihre Verkörperung in Form von Robotern sich uns gegenüber verhalten sollen nach Robotergesetzen, würde sich die Frage danach gesellen, wie wir uns ihnen gegenüber verhalten sollen, die Frage nach ihren Rechten also.

Alexander Filipovic, Medienethiker und Mitglied der KI-Enquete-Kommission des Bundestages, befürchtet, dass über die Frage nach einer solchen starken KI all die Probleme vernachlässigt werden, die sich schon durch schwache KI stellen. Und davon gibt es unzählige: Wenn zukünftig selbstlernende Algorithmen darüber entscheiden, welchen Versicherungsbeitrag wir zahlen und ob wir ein Einreisevisum bekommen, wie stellen wir dann sicher, dass diese Entscheidungsfindung für den Betroffenen erklärbar und nachvollziehbar ist?

Wie können wir verhindern, dass durch vorurteilsbehaftete Trainingsdaten oder unbewusste Werturteile der Programmierer Diskriminierung und Rassismus in die Systeme Einzug halten? Wie, dass Systeme anhand der ihnen zur Verfügung stehenden Daten Aussagen über uns treffen, die wir nicht preisgeben wollen – beispielsweise über unsere Sexualität?

Die zeitlich drängendste Frage sieht Thomas Metzinger in der drohenden Massenarbeitslosigkeit durch Automatisierung. Es bestehe ein enormes Risiko steigender sozialer Ungleichheit. „Die Reichen könnten durch KI stark profitieren, die Armen hingegen immer ärmer werden.“ Und: „Wie wollen wir verhindern, dass alle Finanzmacht und eben auch die „kognitive Power“ sich auf eine Handvoll Konzerne konzentriert, die uns noch dazu bis auf die Knochen ausspähen?“ Autonome Waffen könnten außerdem zu einer neue Ebene des Wettrüstens führen und die Kriegseintrittsschwelle senken. Und schließlich stehen ganz konkrete Fragen zu Beantwortung aus, wie: Wenn der Fahrer eines selbstfahrenden Autos sich umbringen will, soll das System seinen Wunsch unterstützen oder den Selbstmord verhindern?

Den Horrorvisionen stehen Heilsversprechen gegenüber. So glauben die Anhänger des Transhumanismus wie der amerikanische Autor und Technikvisionär Ray Kurzweil, inzwischen Googles technischer Direktor, unter anderem daran, zukünftig menschliches Bewusstsein auf digitale Speicher zu übertragen und so Unsterblichkeit zu erlangen. Und im Herbst 2017 hat der Unternehmer und ehemalige Google-Entwickler Anthony Levandowski gar eine Kirche mit Name „Way of the Future“ gegründet, deren Gottheit eine noch aus Hardware und Software zu erschaffende künstliche Superintelligenz sein soll.

Ganz fremd sei eine solche Vorstellung der christlichen Tradition natürlich nicht, sagt der evangelische Theologe Manzeschke. „Wir haben es schon immer mit einem maximal intelligenten Wesen zu tun gehabt, auf das wir die unendliche Steigerung dessen, was wir sind, projiziert haben, wir haben Wissen und Mächtigkeit, Gott Allwissen und Allmächtigkeit.“ Der christliche Glaube beruht darauf, dass dieser Gott es letzten Endes gut mit der Schöpfung meint. Aber das, was Kurzweil und andere erschaffen wollen, wäre ein selbstgemachter Gott. „Ich hätte alle Gründe, ihm zu misstrauen. Ich bin selbst fehlbar. Warum sollte der von mir erschaffene Gott unfehlbar sein?“, so Manzeschke. Er sieht eine der zentralen theologischen Herausforderungen durch KI darin, die Differenz zwischen einem Gott und einem Fetisch, also Götzenbild, herauszustellen.

Die neuen Heilslehren böten Anlass, Religionskritik zu betreiben, sagt sein katholischer Kollege Filipovic. „Die Bewegung des Transhumanismus fordert uns andererseits heraus, uns mit unseren eigenen Beschränkungen zu beschäftigen, neu über Gott und das Leben nach den Tod nachzudenken, darüber, was den Menschen und was Religion ausmacht.“

Unser Selbstbild ist herausgefordert angesichts von Maschinen, die schon jetzt nicht nur besser rechnen, sondern auch besser Go spielen können als wir, die weder Nahrung noch Nachtruhe brauchen, unermüdlich, effektiv, unsterblich ihre Arbeit tun. Wir müssen uns also auf ganz neue Weise mit dem alten Vordenker der Aufklärung Immanuel Kant fragen: Was ist der Mensch?