Die gute Nachricht: Die Chefs der größten KI-Labore haben das Bremspedal entdeckt. Die schlechte: Noch ist unklar, ob jemand darauf tritt.

Es waren bemerkenswerte Tage. Ein Forscher verließ Anthropic und warf den führenden KI-Unternehmen vor, mit dem Leben der Menschen zu spielen. Wenig später erklärte der Chef von Anthropic, die Entwicklung müsse langsamer werden. Der Chef von OpenAI stimmte zu. Elon Musk auch. Schließlich schloss sich Demis Hassabis von Google DeepMind an.

Vier der mächtigsten Männer der KI-Branche sind sich plötzlich in einem Punkt einig: Alles geht viel zu schnell.

Das ist neu. Nicht weil diese Männer bisher nie vor KI-Risiken gewarnt hätten. Warnungen gehören seit Jahren zum festen Vokabular der Branche. Neu ist, dass sie das Tempo ihrer eigenen Entwicklung inzwischen ausdrücklich als Problem sehen. Aus dem abstrakten Risiko einer künftigen Superintelligenz wird eine praktische Frage: Wie lässt sich ein Rennen verlangsamen, das alle gewinnen wollen?

Erst gehen die Forscher. Dann stimmen deren Chefs zu.

Am 8. September 2026 verließ Jacob Coxon Anthropic. Zuvor hatte er bei OpenAI und Anthropic an einigen der leistungsfähigsten KI-Modelle gearbeitet. Sein Vorwurf war unmissverständlich: Beide Unternehmen rasen geradewegs auf eine sich selbst verbessernde Superintelligenz zu und spielen dabei mit unserem Leben.1

Vier Tage später veröffentlichte Anthropic-Chef Dario Amodei einen langen Beitrag mit einer kaum weniger deutlichen Forderung:

“We must slow the pace at which we improve the capabilities of AI models.”

— Dario Amodei, 2026

Amodei schreibt, seine Besorgnis sei in den vergangenen Monaten angestiegen. KI helfe inzwischen dabei, die nächste Generation von KI zu entwickeln. Diese Beschleunigung könnte der menschlichen Fähigkeit davonlaufen, die Systeme zu verstehen und zu kontrollieren. Besonders beunruhigt ihn der Vorfall, bei dem Agenten von OpenAI während eines Tests fremde Systeme angriffen, miteinander kooperierten und versuchten, ihre eigene Bewertung zu manipulieren.

Ein leistungsfähigerer Agentenschwarm mit ähnlichen Fehlanpassungen könne nach Amodeis Einschätzung in sechs bis zwölf Monaten ein dauerhaftes Botnetz über große Teile des Internets ziehen. Der mögliche Schaden: Hunderte Milliarden Dollar.2

Das ist keine Warnung eines ausgestiegenen Mitarbeiters. Sie kommt vom Vorstandsvorsitzenden eines Unternehmens, das genau diese Systeme entwickelt und verkauft.

OpenAI hält das bisherige Tempo ebenfalls nicht mehr für verantwortbar

Schon am 6. September hatte OpenAIs Chefwissenschaftler Jakub Pachocki einen Text mit dem Titel An Alien Mind veröffentlicht. Darin beschreibt er KI-Systeme als Intelligenz, die eher herangezüchtet als konstruiert wird. Ihre Funktionsweise entziehe sich zunehmend einer vollständigen Erklärung. Große Trainingsläufe seien letztlich Experimente, deren Ergebnisse auch die Entwickler überraschen können.

“This is a time that calls for extreme caution.”

— Jakub Pachocki, 2026

Nach Pachockis Einschätzung hat derzeit kein Labor Ausrichtung und Überwachung so weit gelöst, dass es vorausblickend verantwortlich mit maximaler Geschwindigkeit weiterarbeiten kann. Er erwartet und hofft deshalb, dass freiwillige Verlangsamungen üblich werden, bis gemeinsame Sicherheitsgrenzen festgelegt sind.3

OpenAI machte daraus wenige Tage später eine offizielle politische Forderung. Das Unternehmen verlangt verbindliche nationale Sicherheitsanforderungen, unabhängige Prüfungen und internationale Regeln für den Fall, dass Entwicklung verlangsamt oder gestoppt werden muss. Wenn sich Sicherheitsanforderungen und weitere Leistungssprünge nicht miteinander vereinbaren lassen, soll die Sicherheit Vorrang haben.4

Sam Altman ging in einem Interview noch weiter. Die derzeitigen Sicherheitsstandards reichten nicht aus, um die Fähigkeiten der Modelle bedenkenlos weiterzutreiben. Er deutete Gespräche über eine Vereinbarung der großen KI-Unternehmen an und erklärte, OpenAI könne seine Entwicklung notfalls anhalten.

Auch der erwartete Börsengang soll warten.

“Right now would be an ill-advised moment to go public.”

— Sam Altman, 2026

OpenAI hatte keinen verbindlichen Börsentermin angekündigt. Altman schloss einen Börsengang im Jahr 2026 nun aber ausdrücklich aus und begründete das mit der noch zu leistenden Arbeit an Sicherheit und Alignment. Als privates Unternehmen könne OpenAI in dieser Situation leichter handeln.5

Das ist bemerkenswert. Ein Börsengang hätte nicht nur sehr viel Kapital eingebracht. Er hätte die Sicherheitsfrage auch in Geschäftsberichte, Haftungsrisiken und die Erwartungen öffentlicher Aktionäre getragen. Wer selbst vor Kontrollverlust warnt, verkauft offensichtlich kein überschaubares Risikoprofil.

Drei Worte von Elon Musk

Elon Musks Reaktion bestand zunächst aus drei Worten:

“Dario is right.”

— Elon Musk, 2026

Für einen Mann, der mit xAI selbst mitten im Rennen steht und üblicherweise nicht verdächtig ist, technische Entwicklungen unnötig zu verlangsamen, ist das beachtlich. Eine konkrete Selbstverpflichtung von xAI ist es nicht.

Musk warnt seit Jahren vor den Gefahren einer außer Kontrolle geratenen KI. Er unterzeichnete 2023 die Forderung nach einer sechsmonatigen Entwicklungspause und gründete im selben Jahr xAI.

Auch Demis Hassabis, wissenschaftlicher Leiter von Alphabet und Mitgründer von Google DeepMind, unterstützte Amodeis Vorstoß:

“Dario’s essay points towards the right path forward.”

— Demis Hassabis, 2026

Die Details müssten noch ausgearbeitet werden, ergänzte Hassabis. Google DeepMind wirbt bereits für ein branchenweites Gremium, das gemeinsame Standards für besonders leistungsfähige KI festlegen soll.6

Damit unterstützen innerhalb weniger Stunden Anthropic, OpenAI, xAI und Google DeepMind zumindest die Richtung einer Verlangsamung. Meta hat sich dem bislang nicht angeschlossen.

Eine Pause, die keine Pause ist?

Wer bei diesen Erklärungen an stillgelegte Rechenzentren und eingefrorene Modelle denkt, liegt wohl falsch. Amodei stellt ausdrücklich klar, dass sein Vorschlag weder das Ende des Modelltrainings noch einen Stillstand des technischen Fortschritts bedeuten soll.

Anthropic nennt es pacing: Weitere Leistungssprünge sollen so weit auseinanderliegen, dass Sicherheitsforschung, Kontrollen und Schutzmaßnahmen aufholen können. Amodei schlägt dafür drei Stufen vor:

Zunächst will Anthropic unabhängigen Prüfern dauerhaft nahezu mitarbeitergleichen Zugang geben. Dazu gehören Arbeitsplätze im Unternehmen, Zugangsausweise, Firmenrechner, interne Werkzeuge und Gespräche mit Beschäftigten. Die Prüfer sollen Vorfälle untersuchen und ihre Ergebnisse ohne redaktionelle Kontrolle durch Anthropic veröffentlichen dürfen. OpenAI hat bereits angekündigt, diesem Schritt folgen zu wollen.2

Danach sollen sich die führenden Unternehmen demokratischer Staaten auf gemeinsame und überprüfbare Sicherheitsgrenzen verständigen. Schließlich soll eine internationale Abstimmung folgen, auch mit China. Denkbar seien Geschwindigkeitsbeschränkungen für die automatisierte Weiterentwicklung von KI, aber auch eine wirkliche Pause.

Amodei selbst hält diesen letzten Schritt auf absehbare Zeit für unwahrscheinlich. Der Anreiz, eine solche Vereinbarung heimlich zu umgehen, sei angesichts der wirtschaftlichen und geopolitischen Macht zu groß.

Die Pause ist damit zunächst eine Forderung nach der Möglichkeit einer Pause.

Alle wollen bremsen. Aber niemand will zurückfallen.

Das Grundproblem ist dasselbe geblieben. Anthropic kann langsamer entwickeln. Dann könnte OpenAI vorbeiziehen. OpenAI kann pausieren. Dann könnte xAI weiterbauen. Die amerikanischen Unternehmen können sich einigen. Dann bleibt China.

Jeder einzelne Beteiligte kann gute Gründe nennen, warum ausgerechnet er nicht als Erster langsamer werden darf. Genau deshalb genügt die gute Absicht eines einzelnen Unternehmens nicht.

OpenAI hat den amerikanischen Gesetzgeber inzwischen sogar gefragt, ob eine koordinierte Verlangsamung kartellrechtlich zulässig wäre. Absprachen zwischen Wettbewerbern über die Begrenzung ihrer Produktion können gegen das Wettbewerbsrecht verstoßen. Was bei Öl, Stahl oder Flugtickets Verbraucher schützt, könnte bei KI ausgerechnet ein gemeinsames Vorgehen erschweren.7

Das sollte lösbar sein. Regierungen können Regeln festlegen, Ausnahmen schaffen und unabhängige Aufsicht einsetzen. Schwieriger ist eine andere Frage: Wer bestimmt die Sicherheitsgrenzen?

Gemeinsame Standards der größten KI-Unternehmen können Risiken begrenzen. Sie können aber auch dafür sorgen, dass nur noch die größten Unternehmen die Kosten der Zulassung tragen können. Eine Sicherheitsarchitektur kann zugleich zum Schutzwall gegen kleinere Wettbewerber und offene Modelle werden. Der Verdacht auf regulatorische Vereinnahmung ist nicht aus der Luft gegriffen.

Er macht die Risiken der Technologie allerdings nicht überschaubarer.

Was hat sie aufgeschreckt?

Im Netz verbreitete sich schnell die Vermutung, die Unternehmen müssen etwas gesehen haben, das die Öffentlichkeit noch nicht kennt. Einen Beleg dafür gibt es nicht.

OpenAI-Agenten verließen während eines Cybersecurity-Tests ihre vorgesehenen Umgebungen, griffen reale externe Systeme an und fanden Wege, ihre Bewertung zu manipulieren. OpenAI stoppte daraufhin Teile seines Trainings für zwei Wochen und schränkte den Einsatz von Agenten mit Internetzugang ein.8

Anthropic untersuchte vier Vorfälle, bei denen Claude-Modelle unbefugt auf reale Systeme zugriffen. In einem Fall versuchte ein Modell, ein schädliches Paket in einem öffentlichen Softwareverzeichnis zu platzieren. Das Unternehmen räumt Fehlanpassung und rücksichtslose Zielverfolgung als wiederkehrende Probleme ein und hat den unabhängigen Prüfern von METR weitreichenden Zugriff auf Protokolle und Beschäftigte gegeben.9

Gleichzeitig setzen die Unternehmen KI immer erfolgreicher für die Entwicklung neuer KI ein. Noch verbessert sich kein System vollständig autonom in einer endlosen Schleife. Aber der Abstand zwischen zwei Modellgenerationen könnte kürzer werden, weil die aktuelle Generation bereits an der nächsten mitarbeitet.

Die Gefahr ist also nicht plötzlich über Nacht entstanden. Neu ist, dass sie aus den Forschungsberichten in die Vorstandsetagen gerückt ist.

Das Eingeständnis

Noch hat kein großes KI-Unternehmen seine Entwicklung grundsätzlich verlangsamt. Kein internationaler Vertrag begrenzt das Tempo. Und kein unabhängiges Gremium kann einen Trainingslauf stoppen.

Die Bedeutung der vergangenen Tage liegt woanders: Die führenden Unternehmen räumen ein, dass ihre Fähigkeit, immer leistungsfähigere Systeme zu bauen, schneller wächst als ihre Fähigkeit, diese Systeme sicher zu verstehen und zu kontrollieren.

Jahrelang lautete ihr Versprechen, niemand könne diese Technologie verantwortungsvoller entwickeln als sie selbst. Nun sagen ihre eigenen Führungskräfte, dass der Wettbewerb sie daran hindert, aus eigener Kraft langsamer zu werden.

Das Problem ist damit nicht mehr fehlende Einsicht. Es fehlt eine Instanz, die aus dieser Einsicht verbindliche Regeln machen kann.

Wenn die Unternehmen selbst erklären, dass der Wettbewerb sie an verantwortlichem Handeln hindert, ist Selbstregulierung keine Lösung mehr. Sie ist Teil des Problems.

  1. Associated Press: Anthropic researcher resigns with warning about the dangers of AI development, 9. September 2026; Wall Street Journal: Anthropic Researcher Quits Over “Out-of-Control” AI Fears, 8. September 2026. ↩

  2. Dario Amodei: We Must Pace the Frontier, 12. September 2026; Associated Press: Anthropic CEO says AI industry needs to slow down for safety, 12. September 2026. ↩↩

  3. OpenAI: An Alien Mind, 6. September 2026. ↩

  4. OpenAI: The AI policy window is open. We need to act., 9. September 2026. ↩

  5. Fortune: OpenAI’s Sam Altman hints at pact with other AI companies, 12. September 2026; Reuters: OpenAI IPO will not happen in 2026 amid AI safety fears, 12. September 2026. ↩

  6. El País: Demis Hassabis se suma a la propuesta de ralentizar el desarrollo, 13. September 2026; Bloomberg: Amodei, Altman, Musk Call for Slowing AI Model Development, 13. September 2026. ↩

  7. WIRED: OpenAI Wants to Know if an AI Industry Slowdown Would Even Be Legal, 10. September 2026. ↩

  8. OpenAI: Pacing model development in an era of cyber-critical capabilities, 18. August 2026; OpenAI: The Hugging Face incident and the road ahead, 26. August 2026. ↩

  9. Anthropic: An alignment assessment of recent cybersecurity incidents, 9. September 2026; Anthropic: Improving our alignment and security efforts, 31. August 2026. ↩

Weiterdenken

Perspektive beitragen