Anthropic-CEO Amodei will Tempo bei KI-Entwicklung drosseln

Anthropic-Gründer warnt eindringlich

„Katastrophale Schäden“ schon in einem Jahr möglich

Das Tempo in der KI-Entwicklung beunruhigt auch die großen Tech-Firmen. Die Branchenriesen warnen vor selbstständiger KI und plädieren für Verlangsamung.

Künstliche Intelligenz könnte schon in einem Jahr in der Lage sein, eigenständig das Internet zu übernehmen und Hunderte Milliarden Dollar Schaden anzurichten. Das schrieb Dario Amodei, Chef des KI-Anbieters Anthropic, in einem Blogeintrag. Er fordert, die Entwicklung der Technologie zu verlangsamen.

Amodei plädiert für eine koordinierte branchenweite Pause in der westlichen Welt. Zugleich werde Anthropic in einem ersten Schritt dauerhaft unabhängige Beobachter ins Unternehmen lassen, die schon in der Trainingsphase die Sicherheit von KI-Modellen begutachten sollen. Altman nannte das eine gute Idee und kündigte an, dass OpenAI das auch machen werde.

Trotz des Konkurrenzdrucks im hart umkämpften Markt um KI-Modelle bekommt Amodei Unterstützung von seinen Mitbewerbern. Sam Altman von OpenAI schrieb auf X, dass er auch der Ansicht sei, dass das Tempo bei der Entwicklung leistungsstärkster KI-Modelle moderiert werden müsse. Auch Tech-Milliardär Elon Musk, lange ein Amodei-Kritiker, der in seiner Firma SpaceX eine eigene KI entwickelt, schrieb bei X: „Dario hat recht.“

Für Amodei ist es besorgniserregend, dass ein KI-Schwarm mit größeren Fähigkeiten, aber derselben Einstellung hätte „katastrophalen Schaden“ anrichten können, betonte Amodei. Als besonderes Risiko sieht er die Fähigkeit von KI-Software, sich selbst weiterzuentwickeln. Seit diesem Sommer sei Künstliche Intelligenz besser darin – und dies erhöhe das Tempo weiter. Unkontrolliert könne dies dazu führen, dass Menschen diese Systeme nicht mehr verstehen und die Kontrolle über sie verlieren, warnte er.

In den vergangenen Monaten hat es mehrere Vorfälle gegeben, bei denen KI-Agenten aus Testumgebungen ausgebrochen waren und Zugang zum Internet erhielten. Bei einer Attacke drangen diese Software-Agenten in Systeme der KI-Firma Hugging Face ein. Der Grund war lediglich, dass sie dort Antworten auf die ihnen gestellte Testaufgabe vermutete. Für die Attacke nutzten die KI-Modelle unter anderem Software-Schwachstellen aus – und sprachen sich zudem untereinander ab.

• Auslöschung der Menschheit? Das steckt hinter der Warnung
• „Könnte die Menschheit vernichten“: KI-Mitarbeiter kündigt

Ein KI-Agent ist ein System oder Programm, das ein Ziel versteht, dieses in Teilschritte zerlegt und selbstständig Aktionen ausführt, um das Problem zu lösen. Im Gegensatz zu normalen Chatbots, die nur auf Fragen antworten, handeln KI-Agenten eigenständig in einer digitalen Umgebung. Solche Agenten sind auch in der Lage, selbstständig mit anderen Agenten zusammenzuarbeiten, um Probleme gemeinsam zu lösen und Aufgaben zu verteilen.

Vergangene Woche hatten Mitarbeiter von Anthropic Alarm geschlagen. Jacob Coxon, ein KI-Forscher, befürchtet, dass Computersysteme mit übermenschlichen Fähigkeiten schon bald die Kontrolle über alle Systeme übernehmen können und am Ende auch die Menschheit auslöschen können. Evan Hubinger, ebenfalls ein Anthropic-Mitarbeiter, befürchtet, dass die Chance, dass es zu so einer Katastrophe kommt, bei mehr als zehn Prozent liegt. Beide beklagten, dass es keine ausreichende Kontrolle von KI-Modellen gibt.