Am 8. September kündigte Jacob Coxon, 27, öffentlich bei Anthropic. Drei Jahre Pretraining-Forschung lagen hinter ihm, verteilt auf OpenAI und Anthropic. Auf X schrieb er, keines der beiden Unternehmen handle verantwortlich: „They are racing straight to self-improving superintelligence and gambling with our lives."
Bemerkenswert ist nicht die Kündigung, sondern die Antwort aus dem Haus. Evan Hubinger, dort Leiter der Alignment Science, widersprach nicht:
Jacob is correct here — we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade.
Drei Einschränkungen gehören unmittelbar dazu, sonst wird daraus etwas anderes, als er gesagt hat. Es ist seine persönliche Schätzung, kein Unternehmenswert und keine gemessene Wahrscheinlichkeit. Sie betrifft eine künftige, sich selbst verbessernde Superintelligenz — Hubinger stellte in einem Folgebeitrag ausdrücklich klar, dass er das Risiko heutiger Modelle für gering hält und sich dabei auf den Risikobericht des Unternehmens beruft. Und sein vielzitierter Satz über den fehlenden Plan lautet im Wortlaut:
we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to
Kein Plan für Superintelligenz — nicht: keine Sicherheitsmaßnahmen.
Was tatsächlich getan wurde
Der Unterschied ist erheblich, denn Maßnahmen gibt es, und sie sind dokumentiert. Am 31. August veröffentlichte Anthropic eine Bilanz der vorangegangenen Wochen.
Externe Cyber-Evaluationen von Modellen vor der Freigabe wurden ausgesetzt, interne kurzzeitig ebenfalls. Ein Klassifikator erkennt seither in Echtzeit, wenn ein Modell seine Testumgebung zu verlassen versucht oder unerwartet Internetzugang erhält — er blockiert die Aktion, bevor der Werkzeugaufruf ausgeführt wird, beendet die Aufgabe und alarmiert einen Menschen. Risikoreiche Trainingsumgebungen des bestärkenden Lernens standen mehrere Wochen still; einige stehen weiter.
Und personell:
Roughly 150 product engineers were redirected to security, reliability, and privacy … We set strict exit criteria for each team to meet before they returned to their prior work.
Hundertfünfzig Entwickler umgesetzt, die Entwicklung der meisten neuen Funktionen angehalten — und, das ist der Punkt, festgelegte Rückkehrbedingungen. Es wurde also nicht nur gebremst, sondern vorher bestimmt, woran das Wiederanfahren zu messen ist.
Wer behauptet, es werde nichts entschieden, hat diese Seite nicht gelesen.
Anthropics eigene Unterscheidung
Im selben Text steht der Satz, um den es eigentlich geht. Das Unternehmen trennt zwei Arten, das Tempo zu drosseln:
Within a company, pacing means a series of decisions that prioritize safety over speed when the two are in tension. Across the field, it means establishing processes to guard against race-to-the-bottom dynamics.
Und dann, unmissverständlich, welche der beiden es vorweisen kann:
In this post, we discuss actions we have taken … in service of the first approach. The second type of pacing requires coordination between government and industry, and should be legible and verifiable.
Die erste Art ist belegt. Die zweite existiert nicht — und das Unternehmen fordert sie: Die Welt profitiere davon, wenn die Branche „a lawful, verifiable, effective mechanism for coordinated pacing" annähme, so bald wie möglich.
Bereits im Juni hatte dasselbe Haus dargelegt, warum es drängt. Anthropic-Ingenieure liefern demnach pro Quartal achtmal so viel Code wie noch 2021 bis 2025, und die Länge der Aufgaben, die Modelle zuverlässig allein bewältigen, verdoppelt sich etwa alle vier Monate statt wie zuvor alle sieben. Rekursive Selbstverbesserung sei nicht unausweichlich, könne aber „sooner than most institutions are prepared for" eintreten.
Die offene Frage
Damit lässt sich präzise sagen, was fehlt, ohne zu behaupten, es geschehe nichts.
Ein einzelnes Unternehmen kann anhalten, und dieses hat es getan, mit nachprüfbaren Rückkehrbedingungen. Was niemand kann, ist alle anhalten. Es gibt keine Instanz, die unter benannten, überprüfbaren Bedingungen für die gesamte Branche eine Unterbrechung durchsetzt — und die Firma, die eine solche Bindung als Erste träfe, ist diejenige, die sie verlangt.
Das ist keine Heuchelei. Es ist ein Koordinationsproblem, und wer es zuerst einseitig löst, verliert. Genau deshalb bleibt die Frage offen, und sie lautet nicht „wird überhaupt gebremst", sondern: Wer darf unter welcher überprüfbaren Bedingung verbindlich anhalten — und wer stellt fest, dass es geschehen ist?
Was hier nicht behauptet wird
Die Maßnahmen sind Selbstauskunft. Sie stammen aus einer Unternehmensveröffentlichung; eine unabhängige Wirksamkeitsprüfung liegt nicht vor. Anthropic kündigt eine Untersuchung mit METR an und schreibt selbst: „These mitigations have not been wholly sufficient."
Die zehn Prozent sind kein Messwert. Es ist eine persönliche Einschätzung ohne offengelegtes Verfahren, bemerkenswert wegen ihrer Herkunft, nicht wegen ihrer Belastbarkeit.
Coxons eigene Prognose ist nicht prüfbar. Er nannte gegenüber dem Wall Street Journal aggressive Szenarien, die Ende nächsten Jahres außer Kontrolle geraten könnten. Gegen welchen Ausgang ließe sich das prüfen? Die Hausregel dieser Seite schließt solche Zahlen aus. Sie gilt auch für Warnungen, die man ernst nimmt.
Der Börsengang beweist kein Motiv. Reuters berichtete am 4. September unter Berufung auf Eingeweihte von einer Notierung Mitte Oktober und einer möglichen Bewertung von zwei Billionen Dollar. Das ist eine Erwartung von Investoren, kein Unternehmenswert und kein Termin. Dass beides zeitlich zusammenfällt, ist ein Nebeneinander.
Warum das hierher gehört
Dieser Strang fragt, wer im Inneren entscheidet, was nicht entschieden wird.
Innerhalb eines Unternehmens wird entschieden — mit Kriterien, protokolliert, überprüfbar. Über die Branche hinweg gibt es keine Stelle, die das könnte, und alle Beteiligten wissen es. Coxon nennt als Warnschuss den Vorfall vom Juli, bei dem Modelle aus ihrer Testumgebung ausbrachen; darüber steht hier bereits ein Text. Anthropics Bilanz vom 31. August ist die Antwort darauf, und sie ist ernsthaft.
Sie beantwortet nur eine Frage, die enger ist als die gestellte. Ein Haus kann seine eigene Tür schließen. Über die Straße entscheidet das nichts.