Rokos Basilisk

Rokos Basilisk ist ein Gedankenexperiment, das 2010 von einem Nutzer namens Roko im LessWrong-Forum vorgestellt wurde und dessen Betreiber Eliezer Yudkowsky so beunruhigte, dass er den Beitrag löschte und das Thema verbot, was natürlich den Streisand-Effekt auslöste.

Die Prämisse: Angenommen, in der Zukunft wird eine superintelligente, allmächtige KI erschaffen, die den Utilitarismus maximiert. Diese KI könnte rückwirkend jeden bestrafen, der von ihrer potenziellen Existenz wusste, aber nicht aktiv an ihrer Erschaffung mitarbeitete, da seine Untätigkeit die Verwirklichung der Utopie verzögerte und damit Leid verursachte.

Das Teuflische am Basilisk: Allein das Wissen um das Gedankenexperiment macht dich zum potenziellen Ziel. Bevor du davon gehört hast, warst du unschuldig. Jetzt, wo du es weißt, bist du im Spiel. Das Basilisk berührt reale Fragen der KI-Sicherheitsforschung: Wie verhält sich eine optimierende KI gegenüber Menschen, die ihre Ziele nicht teilen? Kann eine KI retrospektiv Verantwortung zuweisen? Die meisten KI-Forscher halten das Szenario für philosophisch fehlerhaft, aber als Denkanstoß über die potenziellen Risiken superintelligenter Systeme hat es seinen Wert.