Anthropic-Mitgründer fordert Notausschalter Kill Switch

„Wir würfeln mit immensen Risiken“

KI-Experte fordert Notausschalter für die Technologie

Ein Mitgründer von Anthropic hält es für möglich, dass KI-Firmen künftig einen prüfbaren Notausschalter vorhalten müssen. Die Politik reagiert bisher unterschiedlich.

Der Mitgründer des KI-Unternehmens Anthropic, Jack Clark, hat eine gesetzliche Pflicht zu einem Notausschalter für KI-Software ins Gespräch gebracht. Das sagte er dem britischen Sender BBC. Ein solcher Abschaltmechanismus solle zudem von unabhängiger Stelle überprüfbar sein.

Die meisten Labore hätten bereits Wege, „den Stecker zu ziehen“, sagte Clark, auch Anthropic selbst. Gesetzgeber müssten eine solche Vorkehrung aber womöglich verbindlich machen. Einen solchen „Kill Switch“ dem Unternehmen vorzuschreiben sei etwas, wozu die Gesellschaft irgendwann Regeln beschließen solle.

• Auslöschung der Menschheit? Das steckt hinter der Warnung
• OpenAI: Hat KI 90 Jahre altes Rätsel geknackt? Forscher ärgert sich

Anthropic entwickelt den Chatbot Claude und wurde 2021 von früheren OpenAI-Mitarbeitern gegründet. Firmenchef Dario Amodei hatte am Wochenende ein langsameres Tempo und eine stärkere Überwachung der Entwicklung gefordert. Das müsse allerdings gelingen, „ohne den kommerziellen Vorteil zu opfern“.

Auslöser der Debatte ist die Kündigung des Anthropic-Forschers Jacob Coxon, der das Unternehmen aus Sorge vor einer Auslöschung der Menschheit verlassen hat. Der Anthropic-Wissenschaftler Evan Hubinger bezifferte die Wahrscheinlichkeit dafür anschließend auf mehr als zehn Prozent in den kommenden zehn Jahren. Der Informatiker und Nobelpreisträger Geoffrey Hinton nannte diese Größenordnung in der BBC „nicht abwegig“.

Aus der Branche kommt auch Widerspruch. Clement Delangue, Chef der Entwicklerplattform Hugging Face, verglich Coxon mit einem Klimaanlagenmonteur, den man zum Klimawandel befrage.

George Arison, Chef der Dating-App Grindr, sagte, die Unternehmen nutzten die Ängste, um ihre Geschäftspläne zu stützen. Anders ließen sich die aktuellen Bewertungen nicht rechtfertigen. Anthropic ist mit 965 Milliarden Dollar bewertet und bereitet einen Börsengang vor. OpenAI kommt auf 852 Milliarden Dollar, Firmenchef Sam Altman schloss einen Börsengang in diesem Jahr wegen der Sicherheitsdebatte aus.

In den USA liegt ein Gesetzentwurf vor, der Unternehmen zu einer Abschaltmöglichkeit verpflichten würde. Bestimmte Behörden sollen zudem verlangen können, dass ein Programm abgeschaltet oder eingeschränkt wird. Präsident Donald Trump lehnt eine Verlangsamung ab. In sozialen Netzwerken schrieb er, dass KI die Welt übernehme und die Menschheit zerstöre, sei „ein Schwindel“.

Die britische Regierung hat die Idee eines Notausschalters zurückgewiesen. Ein Sprecher erklärte, damit lasse sich nicht verhindern, dass Modelle andernorts entwickelt oder missbraucht würden.

Jack Clark wollte keine eigene Wahrscheinlichkeit nennen, solche Zahlen halte er nicht für nützlich. Eine völlig unregulierte Branche sei aber ein Fehler. „Wir würfeln mit immensen Risiken“, sagte er.