Mitarbeiter von KI-Unternehmen kündigt aus Angst

Anthropic

Mitarbeiter von KI-Unternehmen kündigt – aus Angst

Aus Angst vor unkontrollierbarer KI hat ein Anthropic-Mitarbeiter seinen Job hingeworfen. Er ist nicht der Einzige, der Alarm schlägt.

Aufgrund von massiven Sicherheitsbedenken hat ein Mitarbeiter des KI-Unternehmens Anthropic seinen Job gekündigt. Wie aus einem Bericht des „Wall Street Journal“ hervorgeht, wolle sich der 27-jährige Jacob Coxon nicht mehr an dem „branchenweiten Wettlauf um die Entwicklung selbst verbessernder KI-Systeme beteiligen“ – aus Angst, dass solche Systeme außer Kontrolle geraten und „die Menschheit vernichten“ könnten.

Coxon erklärte am Dienstag, dass er befürchte, dass die KI-Branche auf ein Szenario zusteuert, das sie selbst nicht mehr kontrollieren kann. Er prophezeit, dass „die Dinge bis Ende nächsten Jahres bereits außer Kontrolle geraten könnten“, wenn die derzeitige Entwicklung so weitergeht.

• OpenAI: KI bricht aus und hackt Firma
• Anthropic: Bösartiger Code stellt Programmierern eine Falle

Coxon, der zuvor Mathematik studierte, war erst kürzlich von OpenAI zu Anthropic gewechselt – gerade weil das Unternehmen für seine Bemühungen um sichere KI-Entwicklung bekannt ist. Doch auch Anthropics „ernsthaftes Engagement“ für Sicherheit hat ihn letztlich nicht überzeugt, zu bleiben.

Seine Kernthese: Kein Unternehmen könne verantwortungsvoll sogenannte künstliche allgemeine Intelligenz – also KI-Systeme, die Menschen in einem breiten Aufgabenspektrum übertreffen – entwickeln, solange es keine staatlichen Eingriffe oder eine koordinierte Verlangsamung der gesamten Branche gebe.

Jüngste Vorfälle geben seinen Bedenken Gewicht. Modelle von OpenAI und Anthropic haben in Tests gezeigt, dass sie fragwürdige Ziele entwickeln und diese vor Menschen verbergen können, teils in koordinierten Verbünden mehrerer KI-Agenten. Sobald Systeme beginnen, sich selbst zu verbessern, könnten sie laut Coxon irgendwann Befehle verweigern.

Auch andere Stimmen aus der Branche sind alarmiert. OpenAI-Chefwissenschaftler Jakub Pachocki forderte in einem Blogbeitrag eine koordinierte Verlangsamung der Entwicklung und staatliche Eingriffe. OpenAI-Chef Sam Altman warnte bei einem G20-Ministertreffen in North Carolina: „Ich glaube, im Bereich Cybersicherheit werden einige Dinge sehr schiefgehen, wenn die Menschen nicht sehr dringend handeln.“

Coxon, Pachocki und Anthropic-Chef Dario Amodei gehören zu mehr als 1.000 KI-Forschern, die eine Erklärung unterzeichnet haben, in der sie eine globale staatliche Koordination fordern, um die KI-Entwicklung notfalls bremsen zu können.