2019年5月24日，美國國家郵報主編、奇點大學教師黛安·弗朗西斯（Diane Francis）在《美國國家利益雜志》網(wǎng)站發(fā)文指出，人工智能未來可能會引發(fā)比核戰(zhàn)爭或全球霍亂更大的危害，并直接將人工智能比作核武器，闡述了美國在日本曾投擲核武器而引發(fā)的一系列危害和對人類造成的恐慌，探討了人工智能可能引起的諸多危害現(xiàn)象，指出目前對人工智能潛在危害的控制還遠遠不夠，以引起人們對人工智能危害防御的高度關注。
奧本海默和核戰(zhàn)爭
1945年7月16日，當?shù)谝活w原子彈被引爆時，世界便發(fā)生了囧變。物理學家J.羅伯特·奧本海默當時默默的寫道：“我們知道世界已大不相同。幾人歡笑，幾人愁。而大多數(shù)人都在保持沉默。”
奧本海默便是這顆原子彈--曼哈頓計劃的開發(fā)者。當時，奧本海默同其科學家團隊在曼哈頓計劃上花了四年時間，以開發(fā)有助于結(jié)束第二次世界大戰(zhàn)的超級武器。開發(fā)完成的幾周后，兩顆原子彈便降落在了日本的廣島和長崎，致使這兩座城市遭到了巨大破壞，數(shù)十萬人被殺或致殘。1945年8月17日，奧本海默親自致函當時的美國國務卿，表達了他的反感，并希望看到核武器被禁止。9月，日本投降。
在戰(zhàn)爭期間，奧本海默被招募成為一名技術專家為軍方研制這種超級武器。但他對研制這種致命性武器的懊悔使得他在后來帶頭游說以實現(xiàn)對核武器的國際控制。他使世界各國領導人和科學家都相信，只有通過新成立的聯(lián)合國才能實現(xiàn)安全。于是到1957年，國際原子能機構(gòu)（IAEA）成立；1970年，189個國家簽署了“核不擴散條約”（NPT）;從那以后，該條約一直是全球核控制的基石。
奧本海默預見到了一場核浩劫，并征召了世界上最著名的物理學家如愛因斯坦、伯特蘭德等，發(fā)起了禁止核武的圣戰(zhàn)。而當今的世界需要另外一個奧本海默，因為正如核武器開發(fā)速度一樣的新一代變革性技術開發(fā)正在演進，它們將很快會產(chǎn)生比原子彈更嚴重的威脅。
人工智能技術及其危害
人工智能（AI）正是這種快速變革的技術之一。根據(jù)一些預測，由AI驅(qū)動的機器人將比人類更智能，并且能夠在幾年內(nèi)自行開展機器人設計。如果這種情況真的出現(xiàn)，它將比核武或全球霍亂、氣候變化等給人類帶來更大的威脅。
當前，很多科學家一方面在提醒著人工智能技術可能帶來的危害，另一方面仍在大力發(fā)展該技術，還沒有誰會一心一意地去尋求補救措施。全球核不擴散條約的簽訂花了25年時間，而今天對人工智能危害的控制將花費更長的時間。核武器的發(fā)展依賴于有限的、可追蹤的資源，并需政府的大量投資，相比可控很多。而人工智能在未來產(chǎn)生的災難可能只是一個瘋狂的計算機科學家便可實施?；ヂ?lián)網(wǎng)技術已將人工智能知識分散到了全球各地，任何個人都可輕易的獲得制造災難的原材料。
當今世界變革性技術的開發(fā)和研究尚未與道德、倫理或安全框架相關聯(lián)，這可能會增加災難發(fā)生的可能性，無論是故意瀆職還是偶然。目前與控制人工智能危害相關的行動僅停留在重要科學家簽署的請愿書和公開信。但這些請愿書和公開信中的建議并沒有引起全球關注，也還沒有引發(fā)政治運動。1975年，關于DNA重組的阿西洛馬爾會議產(chǎn)生了關于生物安全的指導方針，其中包括停止將來自不同生物的DNA結(jié)合起來的實驗。2015年，包括蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克和傳奇物理學家斯蒂芬·霍金、伊隆·馬斯克等在內(nèi)的1000多名名人簽署了一份關于禁止人工智能與核武器融合的公開信，呼吁禁止人工智能戰(zhàn)和自主武器，并最終促成了聯(lián)合國倡議。今年3月份，聯(lián)合國秘書長仍在敦促所有成員國同意禁令，但到目前為止也只有125個國家簽署了該禁令。
2017年，著名哲學家、牛津大學人類未來研究所創(chuàng)始主任尼克·博斯特羅姆發(fā)布了一系列人工智能限制，稱為“阿西洛馬爾人工智能準則”，概述了人工智能的價值觀、研究限制、道德、安全和風險緩解策略。波士頓未來生命研究所也提出建議：“利用核武器、合成生物學和未來更強大的人工智能等技術，做好預先規(guī)劃，是比從錯誤中學習經(jīng)驗教訓更好的一種策略”，建議要提前防范而不要釀成災難后再吸取教訓。但是無論如何，如果沒有強有力的道德和法律框架預先約束，這種失誤或教訓遲早會產(chǎn)生。
?