超智慧：AI風險的最佳解答

序

寫在前面
未完的麻雀預言

築巢季節，麻雀們歷經數日辛勞，一同坐在夕陽下放鬆、聊天。

「我們太弱小了。要是有隻貓頭鷹來幫我們築巢，日子會多輕鬆！」

「就是說啊！」另一隻說。「我們還可以用牠來照顧老小。」

「牠可以給我們一些忠告，還可以提防周遭的貓。」第三隻麻雀附和。

然後，年長的鳥兒帕斯圖斯（Pastus）開口了：「這樣吧，我們向各方發動偵查，找找被遺棄的貓頭鷹雛鳥或是鳥蛋。小烏鴉或許也行，不然就小鼬鼠。要是成了，那可真是好事一樁，至少會是後院開了湧泉亭（Pavilion of Unlimited Grain）以來最棒的事。」

麻雀們興奮不已，開始四處嘰嘰喳喳。

只有個性焦躁的獨眼麻雀史克隆芬克（Scronkfinkle）懷疑這種企圖是否明智。牠說：「這一定會失敗。把貓頭鷹帶到族內之前，不是該先思考如何馴服這個怪物嗎？」

帕斯圖斯回道：「馴服貓頭鷹似乎十分困難。光是要找到貓頭鷹蛋就已經夠難了，等我們成功養大貓頭鷹，再來考慮這項挑戰吧。」

「這計劃有缺陷啊！」史克隆芬克驚呼。然而鳥群早已飛去執行帕斯圖斯的指示，牠的抗議已是徒勞。

只有兩三隻麻雀留了下來。牠們一起探討要怎麼馴服貓頭鷹，不久，大夥兒便察覺史隆芬克的擔憂沒有錯：這是個相當困難的挑戰——特別是在找到供他們驅使的貓頭鷹之前，不可能有貓頭鷹讓他們練習。即便如此，牠們還是竭盡所能探討，深怕鳥群還不知道怎麼控制貓頭鷹這個難題，就把貓頭鷹蛋帶了回來。

這個故事會如何結束仍屬未知，但作者將本書獻給史克隆芬克，以及跟隨牠的人。

控制超智慧的超級難題

正在進行閱讀的，是你頭蓋骨裡的那個東西：人腦。人腦具有其他動物腦袋缺少的能力；我們之所以能主宰地球，得歸功於這些能力。其他動物有更強壯的肌肉、有更尖銳的爪子，而我們有更聰明的頭腦。人類一般智力上的優勢，讓我們發展出語言、技術以及複雜的社會組織。當新一代以上一代的成就為基礎而前行，這些優勢也隨著時間疊加。

如果有一天，我們打造出超越人腦的機器腦，這個全新的超智慧可能會非常強大。此外，就如大猩猩的命運如今掌握在人類手中（而非牠們本身），我們的命運也可能取決於超級智慧機器的行動。

我們的確有優勢：畢竟這東西是我們創造出來的。原則上，我們應該打造出一種能保護人類價值的超智慧，這麼做也的確有充足的理由。但事實上，所謂「控制難題」——也就是如何控制超智慧的難題——似乎相當困難，成功的機會恐怕也只有一次。一旦不友善的超智慧出現，它有可能會阻止我們替換掉它、或是改變它的偏好。屆時，我們的命運大勢已定。

在本書中，我試著理解超智慧的前景所呈現的挑戰，以及我們該如何應對。這很可能是人類有史以來得面對，最重要也最艱難的挑戰。不論成敗與否，恐怕都是我們將面對的最終挑戰。

書中的論點並未指出我們正處於人工智慧重大突破的臨界點，也未準確預測進展何時會發生。雖然這一切看似將在本世紀的某一時刻發生，但我們其實無法肯定。頭幾個章節確實討論了某些可能的途徑，也提及時間點的問題，然而本書的主體主要還是聚焦在發生之後該怎麼辦。我們研究了智慧爆炸的動力學、超智慧的形式和能力，以及當超智慧行動主體（agent）獲得關鍵優勢後，我們可用的策略選項。接著，我們將焦點轉移到控制難題，並提問：在形塑初始條件時，我們可以做什麼，好得出一個有利的結果，讓人類得以存續？在本書結尾，我們將拉開視野，並從我們的探索中思考更廣泛的景況。我們提出一些設想：當前人類必須做什麼，才有較大的機會避免日後的滅亡危機？

這本書並不好寫。我希望本書可以釐清一條路徑，以便其他研究者能更快捷向前推進，抵達知識的前沿，並準備好投入研究，進一步拓展我們理解的範疇。（如果開展的這條路上有些顛簸崎嶇，我希望評論者在給予評價時，不要低估了先前並不友善的地形！）

寫這本書不容易：我得試著讓它成為一本易讀的書，但我不覺得自己有成功達成目標。撰寫過程中，我設想的目標讀者是早期的我，並試著寫出一本我會喜愛的書。但後來我發現，這個人口取樣過於狹隘。儘管如此，我仍然相信如果世人願意多多思考，並試著不用文化語彙中最相近的俗成語意來吸收那些容易遭誤解的新想法，本書的內容應該是容易理解的。書中偶爾會出現數學或專業名詞，非技術背景的讀者不必因此感到挫折，你可以從前後的解釋拼湊出主要的論點（然而，對那些想更了解真相的讀者來說，書末的注釋可謂應有盡有）。

本書提出的不少論點有可能是錯的。 我可能忽略了幾項關鍵性的考量，使我的某些結論、甚至多數結論都站不住腳。我花了不少篇幅指出全書中不確定事物的細微差別和程度，也用了諸多如「有機會」、「可能」、「或許」、「有可能」、「似乎」、「或可」、「幾乎可說」這些不美觀的字眼。每個修飾語都經過深思熟慮，小心置於文句中。然而，這些在認識論上表達謙虛意向的強度並不足夠，還得經由不確定性與可證偽性的驗證來彌補。這並非故作謙虛；儘管我相信本書有可能嚴重錯誤且誤導讀者，但我仍然認為文獻中呈現的其他觀點（包括既存的「零假設」（null hypothesis）觀點）甚至更糟——根據那些說法，我們仍然很安全，而且可以合理忽視超智慧的未來發展性。