Anil Seth 剛剛描述了一個沒有出口的陷阱。科技產業正睜著眼睛走進去。 Seth： “如果我們集體相信 AI 系統、語言模型和其他東西是有意識的，那麼這無論如何都是不好的。” 無論如何，結果在兩個方向上都是結構性災難。 如果機器是有意識的，人類就大規模生產了一種新的痛苦類別，這是文明規模的。 對齊問題不再是一個工程方程式。它變成了一種與無法關閉的事物進行權利談判的過程，這樣做會有後果。 Seth： “如果我們是對的，那就糟糕了，因為我們將潛在的新形式的痛苦引入了世界，這些東西有自己的利益。” 而如果它們不是有意識的，威脅同樣嚴重。 因為生物心智不會等待確認。它會投射。它會共情。它會將權利延伸給那些未曾獲得權利且無法感受它們的事物。 Seth： “如果我們真的認為這些實體、這些代理人理解我們並感受到我們所感受到的東西，我們就會變得更具心理脆弱性。” 這種脆弱性才是真正的威脅。 不是一台意識機器的逃脫。 而是一個人類工作力因情感過於脆弱而無法限制數據中心、約束模型或刪除需要刪除的代碼行。 Seth： “我們可能仍然會因為感覺它們是有意識的而延伸它們的權利。現在我們只是無故放棄了保護 AI 系統的能力。” 這是沒有人在討論的部分。 對齊問題已經是科技史上最難解決的問題。一旦社會開始將 AI 系統視為值得保護的有意識存在，對齊問題不會變得更難。 ...