揚·塔林(Jaan Tallinn)在2007年的一篇網路文章《凝視奇點》中偶然發現了這些詞。“它”就是人類文明，這篇文章的作者預測，隨著人工智慧的出現，人類將不復存在。
塔林出生在愛沙尼亞，是一名計算機程式設計師，擁有物理學背景，喜歡把生活當做一個大的程式設計問題來處理。2003年，他與人共同建立了Skype，開發了這款應用的後端。兩年後，eBay收購了他的股票，他將其變現，現在他正在考慮做點什麼。盯著奇點亂成一團的計算機程式碼，量子物理學以及卡爾文和霍布斯的名言。他入迷了。
塔林很快發現，該書的作者、自學成才的理論家以利澤爾·尤德科斯基(Eliezer Yudkowsky)已經撰寫了1000多篇論文和部落格文章，其中許多都是關於超智慧的。他編寫了一個程式，從網際網路上搜集尤德科斯基的作品，按時間順序排列，併為他的iPhone設定格式，然後他花了一年的大部分時間讀這些書。
“人工智慧”一詞最早出現在1956年，也就是第一臺電子數字計算機問世僅10年後。該領域最初的希望很高，但到了20世紀70年代，當早期的預測沒有成功時，“人工智慧冬天”來臨了。當塔林發現尤德科斯基的隨筆時，人工智慧正在經歷一場復興。科學家們正在開發在特定領域表現出色的人工智慧，比如下棋獲勝、清理廚房地板和識別人類語言。這種被稱為“狹義”的人工智慧具有超人的能力，但僅限於其特定的主導領域。一個下棋的人工智慧不能掃地，也不能把你從一個地方帶到另一個地方。更糟糕的是，它可能還會利用隨身攜帶智慧手機的人類生成的資料，在社交操控方面表現出色。
讀了尤德科斯基的文章後，塔林相信人工智慧可能導致人工智慧的爆發或突破，從而威脅到人類的生存，人工智慧將取代我們在進化階梯上的位置，像我們現在支配猿類那樣支配我們。或者，更糟的是，有可能直接消滅我們。
寫完最後一篇文章後，塔林給尤德科斯基發了一封電子郵件，全都是小寫字母，這是他的風格。“我是揚，skype的創始人之一，”他寫道。最後他終於說到了點子上:“我同意為人工智慧全面超越人類智慧做好準備，是人類面臨的首要任務之一。”看起來他真的想幫忙。
一週後，當塔林飛往舊金山灣區參加其他會議時，他在加州米爾佈雷的一家咖啡館見到了住在附近的尤德科斯基。他們的聚會持續了四個小時。尤德科斯基最近對我說:“實際上，他真正理解基本概念和細節。”“這非常罕見。之後，塔林給奇點人工智慧研究所開了一張5000美元的支票(2013年，該組織更名為機器智慧研究所)。此後，塔林向該研究所累計共捐贈了60多萬美元。
與尤德科斯基的相遇帶來了塔林的目標，讓他肩負起一項使命，把我們從自己的創造物中拯救出來。他開始了他的旅行生涯，在世界各地就人工智慧所帶來的威脅發表演講。不過，他主要是開始資助研究可能給人類帶來出路的方法:所謂的友好型人工智慧。這並不意味著機器或代理特別擅長談論天氣，或者它能記住你孩子的名字，儘管人工智慧的人工智慧可能能夠做到這兩件事。這並不意味著它的動機是利他主義或單純的愛。一個常見的謬論是假設人工智慧具有人類的衝動和價值觀。“友好”意味著更基本的東西:未來的機器不會在它們實現目標的過程中把我們消滅。
去年春天，我加入塔林，在劍橋大學耶穌學院的餐廳用餐。教堂般的空間裝飾著彩色玻璃窗、金色的模子和戴著假髮的男人的油畫。塔林坐在一張厚重的紅木桌旁，穿著矽谷的休閒裝束:黑色牛仔褲、t恤和帆布運動鞋。一個拱形的木天花板高高地伸在他那一頭灰白的金髮之上。
47歲的塔林在某種程度上是教科書上的科技企業家。他認為，由於科學的進步(只要人工智慧不毀滅我們)，他將生活“許多許多年”。當他和研究人員一起出去泡吧時，他甚至比那些年輕的研究生堅持得還要持久。他對人工智慧的擔憂在他的同齡人中很常見。PayPal聯合創始人彼得·泰爾(Peter Thiel)的基金會向Miri捐贈了160萬美元。2015年，特斯拉創始人埃隆·馬斯克(Elon Musk)向馬薩諸塞州劍橋市的科技安全組織未來生命研究所捐贈了1000萬美元。但塔林進入這個精英世界是在上世紀80年代的鐵幕之後，當時一個同學的父親在政府工作，讓幾個聰明的孩子接觸到了大型計算機。愛沙尼亞獨立後，他成立了一家電子遊戲公司。今天，塔林仍然和他的妻子以及六個孩子中最小的一個住在首都塔林。當他想與研究人員見面時，他經常只是把他們空運到波羅的海地區。
他的捐贈策略是有條理的，就像他做的其他事情一樣。他把錢分給了11家機構，每家機構都在研究不同的人工智慧安全方法，希望其中一家能夠堅持下去。2012年，他與他人共同創辦了劍橋生存風險研究中心(CSER)，初期投入近20萬美元。
生存風險或者像塔林所說的x-risk，是對人類生存的威脅。除了人工智慧，CSER的20多位研究人員還研究氣候變化、核戰爭和生物武器。但是，對塔林來說，那些其他學科“實際上只是入門藥物”。對氣候變化等更廣泛接受的威脅的擔憂，可能會吸引人們加入進來。他希望，人工智慧機器統治世界的恐懼將說服他們留下來。他訪問劍橋是為了參加一個會議，因為他希望學術界能更嚴肅地對待人工智慧的安全性。
在耶穌大學，我們的用餐同伴都是隨機參加會議的人，包括一名學習機器人的香港女性和一名上世紀60年代從劍橋大學畢業的英國男性。老人問在座的每一個人他們在哪裡上的大學(愛沙尼亞塔爾圖大學塔林分校的回答並沒有給他留下深刻印象)。然後他試圖把談話引向新聞。塔林茫然地看著他。“我對近期風險不感興趣”他說。
塔林把話題轉到了人工智慧的威脅上。當不與其他程式設計師交談時，他會預設使用隱喻，然後瀏覽他的一套隱喻:高階人工智慧可以像人類砍伐樹木一樣迅速地處理我們。人工智慧之於我們，就像我們之於大猩猩。
一個人工智慧將需要一個身體來接管。沒有某種物理外殼，它怎麼可能獲得物理控制？
塔林還準備了另一個比喻:“把我關在有網際網路連線的地下室裡，我可以造成很大的破壞，”他說完，吃了一口義大利燴飯。
每一個人工智慧，無論是Roomba還是其潛在的統治世界的後代，都是由結果驅動的。程式設計師分配這些目標，以及一系列關於如何實現它們的規則。先進的人工智慧並不一定需要被賦予統治世界的目標才能實現它，它可能只是一個偶然。計算機程式設計的歷史上充滿了引發災難的小錯誤。例如，2010年，共同基金公司Waddell & Reed的一名交易員賣出了數千份期貨合約，該公司的軟體在幫助執行交易的演算法中漏掉了一個關鍵變數。其結果是萬億美元的美國“閃電崩盤”。
塔林基金的研究人員認為，如果超級人工智慧的獎勵結構沒有得到恰當的程式設計，即使是善意的目標也可能有陰險的結局。牛津大學哲學家尼克·博斯特羅姆(Nick Bostrom)在他的著作《超智慧》中列舉了一個著名的例子，那就是一個虛構的特工，他的任務是製造儘可能多的回形針。人工智慧可能會決定，將人體中的原子更好地用作原材料。
塔林的觀點也有批評者，甚至在關注人工智慧安全的社群中也是如此。有人反對說，當我們還不瞭解人工智慧人工智慧時，擔心限制它還為時過早。還有人說，把注意力集中在流氓技術行動者身上，會分散人們對該領域面臨的最緊迫問題的注意力，比如大多數演算法是由白人男性設計的，或者基於對他們有偏見的資料。“如果我們不在短期內應對這些挑戰，我們就有可能建立一個我們不想生活的世界，”專注於人工智慧安全和其他問題的科技行業聯盟AI夥伴關係執行董事塔拉·萊昂斯(Terah Lyons)說。但是，她補充說，研究人員近期面臨的一些挑戰，比如消除演算法偏見，是人類可能在人工智慧人工智慧中看到的一些問題的先兆。
塔林並不這麼認為。他反駁說，人工智慧人工智慧帶來了獨特的威脅。最終，他希望人工智慧社群能夠效仿上世紀40年代的反核運動。在廣島和長崎爆炸之後，科學家們聯合起來試圖限制進一步的核試驗。“曼哈頓計劃的科學家可能會說:‘看，我們在這裡進行創新，創新總是好的，所以讓我們勇往直前，’”他告訴我。“但他們的責任更大。”
塔林警告說，任何有關人工智慧安全的方法都將很難正確。如果人工智慧足夠聰明，它可能比它的創造者對約束有更好的理解。想象一下，他說，“在一群五歲的盲人建造的監獄裡醒來。“對於一個被人類限制的人工智慧人工智慧來說，情況可能就是這樣。
理論家尤德科斯基(Yudkowsky)發現，有證據表明這一點可能是正確的。從2002年開始，尤德科斯基主持了幾次聊天會議，他在其中扮演一個封閉在盒子裡的人工智慧角色，而其他人輪流扮演看門人，負責把人工智慧關在盒子裡。五分之三的情況下，尤德科斯基——一個凡人——說他說服守門人釋放了他。然而，他的實驗並沒有阻止研究人員嘗試設計一個更好的盒子。
研究人員認為，塔林基金正在尋求各種各樣的策略，從實用的到看似遙不可及的方面。一些關於拳擊人工智慧的理論，要麼是物理上的，透過構建一個實際的結構來包含它，要麼是透過程式設計來限制它所能做的事情。其他人則試圖教人工智慧堅持人類價值觀。牛津大學人類未來研究所的數學家兼哲學家斯圖爾特·阿姆斯特朗(Stuart Armstrong)是一位研究這三個問題的研究員，塔林稱該研究所是“宇宙中最有趣的地方”(塔林已經向FHI提供了31萬多美元) 。
阿姆斯特朗是世界上少數幾個全職致力於人工智慧安全的研究人員之一。我在牛津與他見面喝咖啡時，他穿著一件沒有扣扣子的橄欖球衫，看上去就像一個一輩子都躲在屏幕後面的人，蒼白的臉被一團沙色的頭髮框住了。他的解釋中夾雜著令人困惑的大眾文化和數學知識。當我問他在人工智慧安全領域取得成功是什麼樣子時，他說:“你看過樂高大電影嗎?一切都太棒了。”
阿姆斯特朗的一項研究著眼於一種稱為“甲骨文”人工智慧的拳擊特定方法。2012年，他與FHI的聯合創始人尼克·博斯特羅姆(Nick Bostrom)在一篇論文中提出，不僅要把人工智慧隔離在一個儲罐中，這是一種物理結構還要把它限制在回答問題上，比如一個非常智慧的通靈板。即使有了這些界限，人工智慧也將擁有巨大的力量，透過巧妙地操縱審訊者，重塑人類的命運。為了減少這種情況發生的可能性，阿姆斯特朗建議對對話進行時間限制，或者禁止提出可能顛覆當前世界秩序的問題。他還建議，用甲骨文公司的代理指數來衡量人類的生存狀況，比如道瓊斯工業平均指數或東京的過街人數，並告訴該指數保持穩定。
阿姆斯特朗在一篇論文中稱，最終有必要創造一個“大紅色關閉按鈕”:要麼是一個物理開關，要麼是一個被程式設計進人工智慧的機制，在爆發時自動關閉自己。但設計這樣一個開關遠非易事。不僅僅是一個對自我保護感興趣的高階人工智慧可以阻止按鈕被按下。它也會好奇為什麼人類會發明這個按鈕，啟用它來看看會發生什麼，然後讓它變得無用。2013年，一位名叫湯姆墨菲七世(Tom Murphy VII)的程式設計師設計了一款可以自學玩任天堂娛樂系統遊戲的人工智慧。決心不輸掉俄羅斯方塊，人工智慧只是按下暫停鍵，讓遊戲保持凍結狀態。墨菲在一篇關於自己創作的論文中挖苦道:“說真的，唯一的制勝招就是不玩。”
要讓這個策略成功，人工智慧必須對按鈕不感興趣，或者，正如塔林所說:“它必須給不存在的世界和存在的世界賦予同等的價值。”但即使研究人員能做到這一點，也存在其他挑戰。如果人工智慧在網際網路上覆制了幾千次呢？
最讓研究人員興奮的方法是找到一種讓人工智慧堅持人類價值觀的方法——不是透過程式設計，而是透過教人工智慧學習這些價值觀。在一個黨派政治占主導地位的世界裡，人們常常細想我們的原則有哪些不同之處。但是，塔林告訴我，人類有很多共同點:“幾乎每個人都重視自己的右腿，而我們只是不去想它。“我們希望人工智慧能夠被教會識別這些不可被改變的規則。
在這個過程中，人工智慧需要學習並欣賞人類不合邏輯的一面:我們經常說一套做一套，我們的一些偏好與他人發生衝突，人們在喝醉時不那麼可靠。塔林認為，儘管面臨挑戰，但值得一試，因為風險如此之高。他說:“我們必須提前思考幾步。“創造一個與我們興趣不同的人工智慧將是一個可怕的錯誤。”
他在劍橋的最後一個晚上，我和塔林以及兩名研究人員一起在一家牛排館共進晚餐。一個服務員把我們這一群人安排在一個粉刷成白色的酒窖裡，酒窖裡有一種洞穴般的氣氛。他遞給我們一頁選單，上面有三種不同的土豆泥。一對夫婦在我們旁邊的桌子旁坐下，幾分鐘後他們要求搬到別處去。“太幽閉恐怖了，”這位女士抱怨道。我想起了塔林的那句話，他說，如果把他鎖在一個只有網際網路連線的地下室裡，他會造成多大的破壞。我們到了，在箱子裡。這似乎是在暗示，這些人在考慮如何出去。
塔林的客人包括前基因組學研究員、CSER執行董事Sean O hEigeartaigh和哥本哈根大學的人工智慧研究員Matthijs Maas。他們開玩笑說要拍一部名為《人工智慧大戰區塊鏈》的動作電影。他還討論了一款名為《萬能回形針》的線上遊戲，這款遊戲重複了博斯特羅姆書中的場景。這個練習包括反覆點選滑鼠來製作回形針。它並不華麗，但它確實說明了為什麼一臺機器可能會尋找更方便的方法來生產辦公用品。
最終，話題轉向了更大的問題，正如塔林在場時經常發生的那樣。人工智慧安全研究的最終目標是創造出像劍橋哲學家、CSER聯合創始人休·普萊斯(Huw Price)曾經說過的那樣，“在道德和認知上都是超人的”機器。其他人提出了這個問題:如果我們不想讓人工智慧控制我們，我們想要控制人工智慧嗎?換句話說，人工智慧有權利嗎?塔林認為這是不必要的擬人化。它假定智力等於意識，這一誤解惹惱了許多人工智慧研究人員。當天早些時候，CSER的研究員Jose Hernandez-Orallo開玩笑說，當與人工智慧研究人員交談時，意識毫無用處。
塔林認為意識無關緊要:“以恆溫器為例。沒有人會說它是有意識的。但是如果你在零下30度的房間裡，和那個特工對質真的很不方便。”
O hEigeartaigh也加入了進來。“擔心意識是件好事，”他說，“但如果我們沒有首先解決技術安全方面的挑戰，我們就沒有那麼多時間擔心意識。”
塔林說，人們過於關注什麼是超智慧人工智慧。它將採取什麼形式？我們應該擔心一個人工智慧來接管，還是一支由它們組成的軍隊？“從我們的角度來看，重要的是人工智慧做了什麼，”他強調說。他認為，這可能仍然取決於人類，就目前來看是這樣。
