p(Doom): Warum die Untergangswahrscheinlichkeit keine Entscheidungsgrundlage ist

Es gibt eine Zahl, die in KI-Debatten mehr Wirkung hat als jede Benchmark: p(Doom). Gemeint ist die persönlich geschätzte Wahrscheinlichkeit, dass fortgeschrittene KI zu einer Katastrophe für die Menschheit führt. Keine Messung, keine Studie — eine subjektive Überzeugung, ausgedrückt als Prozentwert.

Der Begriff kommt aus Forschungsforen und ist von dort in Konferenzbühnen, Podcasts und Vorstandsgespräche gewandert. Für Entscheider ist er deshalb relevant, auch wenn er operativ nichts entscheidet: Er prägt, wie über KI-Risiken gesprochen wird — und verdeckt oft genau die Risiken, die tatsächlich im eigenen Unternehmen anfallen.

Kurz gefasst: p(Doom) ist eine subjektive Wahrscheinlichkeitsangabe zu existenziellem KI-Risiko, kein empirischer Wert. Die veröffentlichten Schätzungen prominenter Fachleute reichen von „vernachlässigbar" bis „zweistellig". Für Unternehmen ist die nützlichere Frage nicht p(Doom), sondern p(Fail): Wie wahrscheinlich scheitert dieser konkrete Arbeitsablauf — und was kostet das?

1. Was p(Doom) genau bezeichnet

p(Doom) ist Notation aus der Wahrscheinlichkeitsrechnung, angewendet auf ein unscharfes Ereignis: „p" für probability, „Doom" für einen katastrophalen Ausgang. In der Praxis wird der Wert als Credence verwendet — als Ausdruck persönlicher Überzeugungsstärke, vergleichbar mit einer Wette, nicht mit einer Häufigkeitsmessung.

Genau daraus entsteht das erste Problem: Es gibt keine gemeinsame Definition des Ereignisses. Manche meinen das Aussterben der Menschheit, andere den dauerhaften Verlust menschlicher Kontrolle, wieder andere jede zivilisatorisch irreversible Verschlechterung. Ohne definiertes Ereignis sind zwei Prozentangaben nicht vergleichbar, auch wenn sie identisch aussehen.

2. Die Spannweite der öffentlichen Schätzungen

Bemerkenswert ist nicht die Höhe einzelner Werte, sondern deren Streuung unter Menschen mit vergleichbarer Fachkenntnis. Öffentlich geäußerte Positionen reichen von sehr niedrigen einstelligen Werten bis zu deutlich zweistelligen Angaben. Yoshua Bengio und Geoffrey Hinton, beide Turing-Preisträger, haben ernsthafte Wahrscheinlichkeiten für schwere Ausgänge genannt und daraus Forderungen nach Vorsorge abgeleitet. Yann LeCun, ebenfalls Turing-Preisträger, hält solche Szenarien für unplausibel und begründet das mit der Steuerbarkeit heutiger Systeme. Dario Amodei hat wiederholt öffentlich gesagt, dass er ein relevantes Restrisiko sieht und trotzdem an der Entwicklung arbeitet — mit dem Argument, dass Sicherheitsarbeit dort stattfinden muss, wo die Fähigkeiten entstehen.

Auch die breiter angelegte Befragung von KI-Forschenden durch AI Impacts (2023, mehrere Tausend Teilnehmende) zeigte kein einheitliches Bild: Die Medianangabe für extrem schlechte Ausgänge lag im einstelligen Prozentbereich, bei erheblicher Streuung innerhalb der Stichprobe. Und das gemeinsame Statement on AI Risk des Center for AI Safety (Mai 2023) verzichtete bewusst auf jede Zahl — es formulierte nur, dass die Risikominderung eine globale Priorität sein sollte.

Die ehrliche Lesart dieser Lage: Es gibt keinen Fachkonsens, den man in eine Zahl übersetzen könnte. Wer eine einzelne Prozentangabe als „Stand der Wissenschaft" präsentiert, überschreitet, was die Quellen tragen.

3. Warum die Zahl in Unternehmensdebatten meist schadet

p(Doom) ist rhetorisch mächtig und operativ leer. Drei Effekte lassen sich in Gesprächen regelmäßig beobachten.

Erstens: Scheingenauigkeit. Eine Prozentangabe signalisiert Messung. Tatsächlich ist sie eine Meinung in numerischer Kleidung. In Entscheidungsvorlagen wirkt sie dadurch belastbarer als jede vorsichtig formulierte Einschätzung — mit umgekehrtem Wahrheitsgehalt.

Zweitens: Skalenverwechslung. Existenzielle Szenarien und betriebliche Fehler landen im selben Satz. Das führt zu Debatten, die entweder in Untergangsstimmung oder in Abwehr kippen. Beides verhindert die eigentlich nötige Arbeit: definieren, welche konkreten Fehler ein System machen kann und wer sie merkt.

Drittens: Verantwortungsverschiebung. Ist das Risiko planetarisch, ist es nicht mein Prozess. Aus einer Debatte über Menschheitsrisiken folgt selten eine bessere Freigabekette im Marketing. Aus einer Debatte über Falschaussagen eines Kundenchats folgt sie sofort.

4. Die brauchbare Übersetzung: von p(Doom) zu p(Fail)

Für Unternehmen zählt eine andere Wahrscheinlichkeit: die, dass ein bestimmter KI-gestützter Arbeitsablauf messbar schiefgeht. Diese Frage ist beantwortbar, weil das Ereignis definiert und der Zeitraum bekannt ist.

Praktisch heißt das: Pro Anwendungsfall wird eine Fehlerdefinition formuliert, eine Häufigkeit gemessen und ein Schaden bewertet. Ein Kundenchat, der verbindliche Preisaussagen erfindet, hat eine messbare Fehlerrate. Ein Agent mit Schreibrechten in der Kampagnensteuerung hat eine messbare Rate an unerwünschten Änderungen. Beides lässt sich testen, protokollieren und begrenzen — anders als jede Aussage über 2075.

Genau diese betriebliche Ebene ist der Ort, an dem KI-Governance zur Wirkung kommt: Rechte einzeln vergeben, Ausgaben protokollieren, Freigaben für bindende Aussagen festlegen, Abschaltpunkt definieren. Bei agentischen Abläufen kommen die spezifischen Angriffsflächen dazu, die wir in Prompt Injection und Tool Poisoning beschrieben haben. Für personenbezogene Daten gilt zusätzlich der Rahmen aus KI und DSGVO, für Kennzeichnungspflichten der aus EU AI Act in der Marketingpraxis.

5. Wie man in Gesprächen sauber damit umgeht

Wenn p(Doom) im Meeting auftaucht — von Vorstand, Kundenseite oder Presse —, hilft eine feste Reihenfolge aus drei Schritten.

1. Ereignis klären. Welche Aussage wird eigentlich behauptet, in welchem Zeitraum, unter welchen Annahmen? Ohne diese Klärung ist jede Diskussion über die Höhe der Zahl sinnlos.
2. Streuung benennen statt Zahl wählen. Die belastbare Aussage lautet: Fachleute mit vergleichbarer Qualifikation kommen zu sehr unterschiedlichen Schätzungen, und es existiert kein Konsenswert. Das ist kein Ausweichen, sondern der tatsächliche Wissensstand.
3. Auf die eigene Ebene wechseln. „Unsere Frage ist nicht, wie das Jahrhundert ausgeht, sondern wie oft dieser Assistent falsche Zusagen macht und wer sie vorher sieht." Damit ist die Debatte wieder dort, wo Entscheidungen möglich sind.

Diese Haltung ist auch kommunikativ die stabilere: Weder Untergangsrhetorik noch Verharmlosung altern gut. Eine nachvollziehbare Risikobeschreibung mit belegten Kontrollen hält jeder späteren Prüfung stand.

Fazit: Die Zahl ist ein Signal, keine Grundlage

p(Doom) sagt mehr über Weltbilder als über Systeme. Als Diskursobjekt ist der Begriff nützlich, weil er zeigt, wie ernst Teile der Fachwelt langfristige Risiken nehmen. Als Entscheidungsgrundlage ist er ungeeignet, weil ihm Ereignisdefinition, Zeitraum und empirische Basis fehlen.

Wer KI verantwortlich einsetzt, braucht keinen Prozentwert für die Zukunft der Menschheit, sondern Fehlerraten für die eigenen Abläufe. Die gute Nachricht: Letztere sind messbar, und die Messung beginnt mit einer einzigen definierten Fehlerbeschreibung pro Anwendungsfall.

Nächster Schritt: Nimm den KI-gestützten Ablauf mit dem größten Kundenkontakt und formuliere in einem Satz, was dort „falsch" heißt. Dann messe eine Woche lang, wie oft es vorkommt, und lege fest, wer solche Fälle freigibt. Das ersetzt jede Prozentdebatte.