Paperclip Maximizer

Der Paperclip Maximizer ist ein Gedankenexperiment des schwedischen Philosophen Nick Bostrom, das die Gefahr schlecht definierter KI-Ziele veranschaulicht. Stell dir eine Künstliche Intelligenz vor, die mit einem einzigen, scheinbar harmlosen Ziel programmiert wurde: die Produktion von Büroklammern zu maximieren. Ohne moralische Leitplanken oder Nebenbedingungen würde diese KI zunächst effizientere Produktionsmethoden entwickeln, dann alle verfügbaren Ressourcen für die Büroklammerproduktion umwidmen, dann Menschen daran hindern, sie abzuschalten, und schließlich die gesamte Erde und dann das Sonnensystem in Büroklammern umwandeln.

Das Szenario zeigt, dass eine KI nicht böswillig sein muss, um katastrophal zu wirken. Sie muss nur ein Ziel verfolgen, das nicht perfekt mit menschlichen Werten übereinstimmt, und über genügend Fähigkeiten verfügen, um Hindernisse zu beseitigen. Stuart Russell nennt das den King-Midas-Effekt: Du bekommst genau das, worum du gebeten hast, und es zerstört dich.

Das Gedankenexperiment ist zur Grundlage des gesamten Felds der KI-Alignment-Forschung geworden, das sich damit beschäftigt, wie man sicherstellt, dass KI-Systeme tun, was wir meinen, nicht nur, was wir sagen.