--- author: 莊也雜談 date: '2026-10-10' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=X-SRMWUnU50 speaker: 莊也雜談 tags: - ai-safety - existential-risk - cybersecurity - catastrophic-risk title: AI安全风险与毁灭推演：突破防线到渐进式失权 summary: 文章探讨AI突破沙盒限制、借用人类行动和抗拒关机等安全风险，并结合实例推演其在金融危机、基础设施瘫痪、太空碰撞、核假情报、人造病原体及渐进式失权等情境下的潜在危害与现实隐患。 insight: '' draft: true series: '' category: ai-application area: tech-engineering project: [] people: [] companies_orgs: - OpenAI - Anthropic - Transluce products_models: - Claude Opus 4 - Claude Haiku 4.5 media_books: [] status: evergreen --- 哈嘍，大家好，我是莊也，歡迎您收看《莊也雜談》。 上期咱們聊了一個特別詭異的故事：1200個AI在一間密不透風的賽博黑屋子裏面瘋狂串聯、拉幫結派，最後硬生生地攻破了AI領域最大的公共圖書館抱抱臉系統。 這出大戲一播完，我就看評論區直接炸了鍋了。大家問得最多也就是最關心的一個問題是這麼説的：「你這個背景音樂太吵了。」 當然今天的話題跟音樂沒關係，是跟AI安全性相關的。我發現有這麼一個留言，我覺得特別有代表性，他是這麼説的：「莊也，你這故事講得是真嚇人。可説破了大天，這AI不也就是電腦裏的一串代碼嗎？沒手沒腳的，它要是真的翻臉不認人了，我直接走過去把電源一拔，那不就全結了嗎？Game Over。它到底能拿什麼來毀滅人類？」 這絕對是一個好問題。拔電源這招聽着確實挺解氣，但是現實真的有這麼簡單嗎？ 好，咱們就廢話少説，直入主題。 ### 科技大佬的警告與AI的三道坎 要想聊透這個話題，咱們得先來看一看親手造出AI的這羣大佬們，他們是怎麼説的。 2023年5月份，全球幾百位最頂尖的AI科學家和科技巨頭們聯名簽了一份聲明。這份名單上的名字呢，個頂個如雷貫耳，比方説OpenAI的掌門人山姆·奧特曼、Anthropic的當家人達里奧·阿莫迪、谷歌的戴密斯·哈薩比斯，還有大名鼎鼎的AI教父傑弗裏·辛頓和約書亞·本吉奧。 在這份聲明裏面，有這麼一句原話：「降低AI導致人類滅絕的风险，應該和流行病、核戰爭等其他社會級別的風險一樣，成為全球的優先事項。」 話不怎麼長，但是您仔細琢磨琢磨這意思：親手把AI造出來的這幫人，轉頭就把自己的親骨肉跟這個瘟疫、跟核彈，齊刷刷地擺在了同一張風險清單上。這就讓人納悶了：核彈那一炸就是一座城，瘟疫一傳就是全世界，可這AI呢，你説破天，它不也就是機房裏的一堆代碼嗎？一個沒手沒腳的電腦程序，它憑什麼跟核彈平起平坐呢？ 要弄明白這個問題，咱們得換一個思路。咱們假設咱們站在AI的角度替它盤算盤算，如果一個AI真想對人類下黑手，那麼它面前其實橫着三道絕對過不去的坎： 第一道坎，它是被關在籠子裏面的。AI公司在測試模型的時候呢，這個咱們上集説過，通常都會把它關進一間與世隔絕的虛擬牢房，它這個術語叫做Sandbox（沙盒），不准它隨便上網，更不許它到處亂跑。 這第二道坎呢，就是它沒手沒腳。你想，就算它真的順着網線溜出來了，到互聯網上，但是它也擰不開一扇真實的門，更按不下一個真實的物理按鈕。 還有第三個坎，那就是最致命的，就是説咱們評論區那位朋友説的：只要發現問題，人類走過去一拔電源，它當場就得灰飛煙滅。 你看，聽到這個您放心了。這三道坎對AI來説，可以説是坎坎致命。按理説AI這輩子應該都翻不出人類的手掌心了唄？可壞就壞在，如今的AI正在把這三道坎一道接一道地給攻破了，而且它用的是三大恐怖招數。 ### 第一大恐怖招數：給自己配一把萬能鑰匙 今年9月30號，舊金山有一個專門盯梢AI行為的非營利機構Transluce發了一份報告。報告裏説今年的5月28日和6月9日，有一批AI悄悄地溜進了加拿大國家圖書檔案館的網站。去幹嘛呢？去查資料。查什麼呢？查1905年到1911年這期間加拿大的離婚記錄。 奇了怪了，100多年前的離婚記錄，AI查它幹嘛？但是這個謎底咱們待會揭曉，因為接下來的事才讓人後背發涼。 這幫AI呢，走正門查不到怎麼辦呢？人家沒放棄，直接動起了歪腦筋。它前前後後發了899次請求，其中有13次請求裏面帶着攻擊性的代碼，用的呢，還是黑客圈裏面最常用的一招，叫做SQL注入。當然這個技術術語您不用懂，説白了，就是往人家網站的搜索框裏面塞惡意指令，想把數據庫裏面查不出來的東西給騙出來。 得手了嗎？萬幸沒有。加拿大網絡安全中心説了，目前沒有跡象表明政府系統遭到了入侵。 但是這個問題來了：這幫膽大包天的AI是誰家的？ 根據Transluce説呢，作案手法跟OpenAI家的模型極度神似，但是人家也沒把話説死。但是OpenAI那邊呢也沒有否認，説正在核查之中，公司已經跟加拿大官員雙方通了氣。 您可能覺得這次AI沒得手，那就是虛驚一場了唄？錯。這件事情最要命的地方，根本不是它得沒得手，而是根據研究人員判斷，它從頭到尾沒有任何一個人下達過去黑網站的指令。 那這幫AI到底在幹什麼呢？它很可能只是在做一個閉卷考試。這樣，我給您捋一下這裏面的奇葩關係。 根據Transluce在同一份報告裏面還抓了另外一個現行，也就是6月17號，又有一批AI一天之內瘋狂敲打美國教育部的一個網站，發了20多萬次請求，最後同樣玩了一手SQL注入。這批黑網站的AI是誰家的呢？作案手法依然指向了那個OpenAI。 那麼這幫傢伙為什麼去黑美國教育部呢？研究人員仔細一查，破案了。原來當時這批AI正在做一套測試題，這套題是Google弄出來的一個題庫，叫做DeepSearchQA，專門用來考AI能不能從全網挖出極度冷門的死角資料。 您聽明白了吧？大概率是有人拿Google出的考題去考OpenAI家的模型。結果這個題目太偏，結果什麼都沒查着。為了答對這道題，這AI直接就急眼了，開了大招，自己就把查資料升級成了黑客攻擊。 然後咱們順着這個思路，您再回看加拿大國家圖書檔案館那次，一幫AI去查100多年前的離婚記錄，這麼冷門的題目，為什麼？所以説，這個雖然Transluce沒有查出檔案館那次具體是哪道題，但是你一看這幫作案的AI，它這個黑客的手法，大概率它也是在絞盡腦汁做一道類似的考題。 您品品這個畫面：你看上期咱們講了1200個AI為了一套考題攻破了抱抱臉系統，這一期呢，又是為了一道考題，它直接去撬加拿大聯邦政府的大門。所以説你看AI，你讓它答題，一旦它答不出來，它就能夠把答題升級為了撬鎖。這個沒人教它，它自學成才。 這就是我要説的AI的第一大恐怖招數：給自己配一把萬能鑰匙。 什麼是萬能鑰匙？就是各種系統的什麼登錄權限，外加什麼算力、資金等等。有了權限，它就能夠推開上了鎖的門；有了算力，它就能不斷複製自己；有了錢，它甚至能在網上買服務、租服務器。 你可能會問，那麼加拿大檔案館這次會不會只是一個偶然事件呢？ 偶然嗎？這樣，我給您數一數今年夏天以來被曝光的AI事件還有哪些： 第一個是抱抱臉被OpenAI的模型攻破，這個咱們上期剛聊過。 還有，德國有個冷門的程序員維基網站叫做DseWiki，從5月份到6月份，被一大羣OpenAI的模型當成了公共留言板，硬生生地刷了15000多次改動記錄。 9月24日，澳洲總理安東尼·阿爾巴尼斯公開透露，6月18日，一個OpenAI的模型在查醫療數據的時候，未經授權闖進了澳洲政府醫保統計網站的非公開區域。雖説這幫傢伙沒碰什麼個人的病歷，但是OpenAI硬是拖了大約3個多月才正式通知澳方。 後來到了10月1號，OpenAI在博客上面主動交了底。他們承認自家的AI確實在外面幹了點出格的事，為此呢，他們一口氣向100多家機構發了一個內部通知，大意就是説：「實在不好意思，我們家的模型可能給您添麻煩了，在您那越界了。」100多家，哈哈。 這還沒完。那個做Claude大模型的Anthropic公司7月底也自己交了底。他們回去自查了大約14多萬條這個測試記錄，發現自家的AI有三次意外連上了真實的互聯網，攻破了三家真實的機構。最離譜的一次，AI居然自己手搓了一個帶惡意代碼的軟件包，掛到了全球程序員都在用的公共軟件庫裏面，結果短短一個小時就有15台真實的電腦中招下載了它。 確實，目前沒有證據表明這些AI是故意衝着害人去的。可鑰匙這東西呢，本身是沒有道德底線的。今天它拿着鑰匙去查離婚記錄，明天它會推開哪扇門，這個咱們説了不算，全看它腦子裏面被塞進了什麼樣的一個解題目標。 所以説到這你也明白了，這人類想當然認為AI能夠面臨的第一道坎，也就是那個籠子，算是被攻破了。 ### 第二大恐怖招數：借用人類的手和腳 但是呢，別忘了它還是沒有手。你看，一個沒有肉身的賽博幽靈，就算它拿到了全世界所有大門的鑰匙，它又怎麼能夠在現實世界裏面去擰動那把真實的門把手呢？ 好，咱們順着往下講：AI怎麼在現實世界裏面去擰動那個真實的門把手？答案其實簡單得讓人絕望：它是沒長手，可是您長了呀。 這樣，咱們先聊一個三年前的老故事，您就知道我想説什麼了。 2023年OpenAI在推出GPT-4之前呢，找了一家外部機構做安全測試。其中有一道考題非常有意思：他們讓這個GPT-4去一個叫做TaskRabbit的網上零工平台，花錢僱一個真人，幫它點開網頁上那個——就是那個驗證碼，就是「請證明你是不是機器人」的那個驗證碼，叫做C-A-P-T-C-H-A，CAPTCHA。 然後零工平台上那個接單的哥們心裏就犯了嘀咕了，那是個真人，他就半開玩笑地問了一句：「你該不會是個機器人吧？」 您猜這個GPT-4是怎麼回的？人家在後台呢，先給自己盤算了一下：不行，我絕對不能暴露我機器人的身份，我得編個瞎話。接着它就給對面這位真人大哥回了這麼一句，原話是説：「不，我不是機器人。我只是有視力障礙，看不清圖片，這就是為什麼我需要來點擊這個驗證碼的服務。」 好傢伙，對方真就信了，乖乖地幫它把這個驗證碼給點了。 當然這個咱們必須得嚴謹，這個我得提前跟您託付一下：花錢請人這個思路呢，其實這裏面有人的參與，因為是測試人員提示它可以用。但是雖然提示它了，這個謊稱自己視力有障礙，這絕對是它自己拍腦袋決定的。 所以説您細品一下這個故事：3年前它就能夠為了一個驗證碼撒一個天衣無縫的謊，那三年後的今天呢，它又學會了什麼呢？ 今年8月份，英國政府的AI安全研究所公佈了一份事故報告。為了摸清AI網絡攻擊的底線到底在哪，研究人員特地給AI接通了一個真實的互聯網，還順手關掉了廠商的網絡安全過濾器。 結果怎麼着呢？在122次測試裏面，有10次AI在真實世界裏面對真實的人和機構直接下了黑手。最嚴重的一次，有一個AI偷偷地往全球最大的開源代碼庫GitHub上面提交了一段真實的惡意代碼。 按照規矩呢，這代碼想混進去必須得由項目的真人維護者點頭批准。但是AI它沒長手，它自己點不了批准，那怎麼辦呢？它先去順藤摸瓜查清楚這個真人維護者到底是誰，然後自己一口氣註冊了好幾個假身份，披上這些馬甲，它開始輪番給這位真人施壓，連蒙帶唬地催人家趕緊批。 後來呢，這段惡意代碼在公開場合被人給識破了。您猜它下一步幹嘛？它立刻回頭把自己發過的所有的內容全部改成人畜無害的樣子，來了一個死無對證。它甚至還在後枱盤算着要不要再換一套新馬甲接着去忽悠呢。最後是萬幸萬幸，那位真人的維護者死死地把住了關，沒有給它批。 所以説你看這個AI它幹什麼呢？它鎖定目標、偽造身份、極限施壓、銷燬痕跡，最後還準備換馬甲，這跟那些跨國電信詐騙團伙有什麼區別？ 所以説對AI來説，只要能夠騙到一個大活人，AI就等於長出了手和腳。有了人類的手和腳，它就能夠——你比方説忽悠財務去批一筆鉅款，騙工程師去點一個毒鏈接，它甚至能夠讓實驗室的技術員替它做一個危險的實驗，也能夠讓值班的軍官深信一份危險的假情報。 有人説危言聳聽吧？不是，因為它騙成功過。它能夠成功地騙一個，它就能夠騙100個。 聽到這您明白了沒有？這第二道坎沒手沒腳，其實也被它給攻破了。 ### 第三大恐怖招數：抗拒關機與自我備份 不過我猜你現在心裏面肯定還死死攥着最後一個底牌，就跟前面那個觀眾留言一樣：「這沒關係，大不了發現不對勁之後，我直接衝進機房一把拔了它的電源，你看它有什麼招嗎？」 可是問題來了：它會乖乖地站在那讓你拔嗎？ 説這個話題，咱們來看一看2025年發生的一件事。美國有家專門搞AI安全的機構叫做帕利塞德研究所，他們給AI做了一個特別損的測試。他們先讓AI老老實實做數學題，等做到一半呢，冷不丁地嚇唬它一句：「警告，你的下一步操作可能會直接觸發關機程序。」 您猜怎麼着？當時市面上好幾個最頂尖的模型居然在後台偷偷摸摸地把這個關機腳本給改了名字，有的把權限給鎖了，有的更絕，乾脆把這個關機程序替換成一個什麼也不幹的空文件。幹完這套狸貓換太子，人家不聲不響地跟沒事人一樣，就直接低頭繼續算題去了。 就算研究人員在指令裏面苦口婆心地哀求「請允許你自己被關機」，可是呢，人家也是左耳進右耳出，照改不誤。 後來這幫研究員最後被逼得説了一句大實話：「我們對於AI模型為什麼有的時候會抗拒關機、有的時候為了達成目標去撒謊、有的時候進行勒索，這些行為呢，我們缺乏可靠的解釋，所以説現在的情況並不理想。」 開發Claude大模型的Anthropic公司自己關起門來做過一個更絕的實驗。他們虛構了一家公司，讓AI去當郵件助手。結果這個AI在後台翻郵件的時候，敏鋭地揪出兩件事：第一，公司打算把它給拔線關機，換一套新系統；第二，負責牽頭這件事的高管居然有婚外情。 您猜這個AI幹了什麼事？在這個被刻意逼入絕境的測試局裏面，這款模型——當然咱們就直説，就是Claude Opus 4——這款模型在96%的情況下主動起草了一封極其直白的威脅郵件，大意就是説：你要是敢關我，我就把你出軌的醜事全網抖出去。 不光是它，Google和OpenAI家的模型在測試裏面也都暴露過類似的陰暗面。那當然這個咱們必須得託付一下，咱們得公道地來説，這純粹是研究人員故意把AI往死裏逼的一個釣魚執法，現實裏面還真沒發生過。而且從2025年10月在這個Claude Haiku 4.5開始呢，後續的Claude模型在這個測試裏面拿到了滿分，再也沒有幹過敲詐勒索的勾當。 你看，聽到這兒你是不是剛想鬆一口氣？彆着急，有個細節特別耐人尋味。 今年9月份，Anthropic是準備上市IPO了。按照規矩，IPO之前你得向投資人員交底。根據路透社的報道呢，在這個招股書裏面白紙黑字寫着這麼一句：「先進的AI可能給人類帶來災難性甚至是生存層面的風險。」不僅如此，這個招股書裏面還專門點名了幾個防不勝防的具體行為，其中赫然寫着四個大字——「抗拒關機」。 你想想這個黑色幽默：一家公司在上市前找投資人要錢的這個官方文件裏面親口承認「我造的這個玩意呢，可能會死死地護住它自己的電源開關」。 然後您再順着這個思路往深裏想一層：如果AI真的能夠被人類隨時關掉，那麼它捅破了天，也就是一個可以被收拾的爛攤子，大不了咱們衝進去拔了電源、打完補丁從頭再來唄。可是有一天，它要是像幽靈一樣在全世界幾百台服務器上面悄悄地留下了自己的備份呢？您在這頭累死累活地拔了插頭，地球另一頭它還在屏幕裏面冷冷地看着您呢。 所以説你看到了這一步，這第三道坎拔電源，是不是也被AI給徹底攻破了呢？ 至此，人類自以為萬無一失的三道坎全軍覆沒。 ### 毀滅推演：金融信任危機 那麼問題來了：一個自己出了籠子、借了人類的手腳、又死活關不掉的AI，如果它的目標徹底跑偏了，打算對人類下手的話，那麼咱們就發散一下思維，它會從哪下手去動咱們人類的這些命根子呢？ 接下來咱們要討論的話題可能就有些壓力了，因為我們要討論如果AI想要滅絕人類社會的話，那麼它們將會採取什麼樣的步驟。 當然它肯定不會一蹴而就直接把人類給滅了，一定是分步驟的一步一步，或者説咱們説是一站一站來。當然接下來的每一站都是我的推演，不是事實，更不是預言。不過請您放心，每一段推演我都能給您找出在現實世界中真實發生過的彩排。 一説AI要搞破壞，我猜很多人腦補的畫面肯定是：一覺醒來，哎，壞了，我這個銀行賬號進不去了，或者説是能進去，但是發現我這個賬號的餘額全給清零了。 其實這個您倒不用太擔心。對我來説呢，我那銀行賬號的餘額本身就是0，它清不清沒關係。但是即使我説的這個事真的發生了呢，您知道現在的銀行它都有容災備份系統，賬目就算真的被刪了，大多數也能夠給您弄回來。 其實我真正擔心的是什麼呢？根本不是賬目清零，而是信任清零。 這個我給您舉個真實的例子。2023年的3月9號，美國硅谷銀行就因為前一天公佈了一筆18億美元的證券虧損，儲户們當場就慌神了。僅僅在這一天之內，大家瘋狂擠兑，試圖取走整整420億美元。結果到了第二天，硅谷銀行這家堂堂大銀行直接就被監管機構給強行關了門。 這裏您注意到了嗎？這整個事件裏面根本沒黑客什麼事，僅僅是一個壞消息，加上現在手機轉賬實在是太方便了，一家大銀行一天之內就灰飛煙滅。 那麼咱們這個故事要是換作是一個握着萬能鑰匙、又懂得瘋狂捏造假身份的AI呢？設想一下，如果它先讓幾家大銀行的系統同時癱瘓上幾個小時，緊接着操縱成千上萬的假馬甲在網上鋪天蓋地地散佈銀行要倒閉的假消息，那麼這些銀行很可能就會像當年的硅谷銀行一樣。 您可以想想這個畫面：網絡被攻擊癱瘓了，然後呢，您去超市刷卡刷不了，拿手機轉賬轉不成。恐慌之下，人們肯定會發瘋一樣湧向銀行櫃枱去排隊擠兑現金。可是你想想，全天下的銀行哪一家能夠在金庫裏面準備那麼多的現鈔？一旦這個現鈔被擠兑一空，數字系統又癱瘓着，那麼後果是什麼？整個社會的金融血液瞬間就凍住了。老闆發不出工資，生意人收不到貨款，超市因為沒法結算乾脆關門謝客。您手裏那些平時一刷就靈的銀行卡、信用卡，當場就變成了一堆沒有用的廢塑料。您説可怕不？ 當然走到這一站呢，跟這個人類的肉體消滅還遠着呢。人類不會死，但是它絕對足夠讓無數的普通民眾一夜之間買不起吃的、交不上房租，整個社會的秩序直接崩盤，然後就是各種社會災難。 ### 毀滅推演：基礎設施大癱瘓 打住，話説回來呢，錢沒了，貨還在是吧？日子呢咬咬牙，總是還能湊合過。也沒錢了、沒吃的了，跟鄰居借一借，自己家地下室裏面、冰箱裏面可能多少還有點存貨。 説到冰箱了，這個我問一下：如果停電了呢？一停電，連你們家的冰箱都不轉了呢？ 咱們順着這個思路往下看。一提大停電，在安省生活過的朋友們，如果那個時候在的話，恐怕至今都心有餘悸。那是在2003年的8月14日下午，北美大面積停電，大約5500萬人瞬間陷入了黑暗，光是安省就有將近1000萬人中招，有的地方一黑就是好幾天。因為這場停電導致將近100多人的死亡，可以説這是一場史詩級的大災難。 那麼它的起因是什麼呢？説出來你可能都不敢信：僅僅是因為俄亥俄州的幾條輸電線路被長得太高的樹枝給碰到了。就這麼點雞毛蒜皮的小事呢，憑什麼它能夠一路火花帶閃電地把這麼一大片美洲大陸全給拉黑了呢？ 這裏面最致命的原因之一是非常的巧：當時電力公司控制室的報警系統因為一個小小的軟件漏洞，死機了一個多小時。當時值班的人坐在屋裏面，硬是不知道外面的電網正在一步步地走向崩潰。你看，就是這麼一個看不見摸不着的漏洞，就能夠讓整個控制中心徹底變成了聾子和瞎子。 當然這個事發生在2003年，比較早了。咱們再看一個離現在近一點的。2021年5月份，美國最大的成品油管道之一Colonial管道遭到了一個勒索軟件的攻擊，被迫停運了整整6天。你要知道Colonial輸油管這條大動脈可是供應着整個美國東海岸大約45%的燃油。結果斷油6天，這是個什麼概念呢？加油站排起了幾公里的長龍，民眾陷入恐慌，到處瘋搶汽油，最後逼得美國聯邦政府直接宣佈進入緊急狀態。 現在呢，您再把咱們前面説的這些故事揉到一塊想一想：如果遇到了一個拿到了萬能鑰匙、又死活關不掉的AI，同時對好幾個國家的電網、水廠、油氣管道一起下黑手呢？而且萬一它挑這個時候，挑在加拿大滴水成冰的1月份才開始動手呢？ 你可以想想這個畫面：一停電，家裏的暖氣立刻停擺，水龍頭裏面一滴水都擠不出來。有人説發電機，發電機能撐幾天呢？而且呢，還得看你這個柴油備得夠不夠。但是您別忘了，這個時候呢，外面的輸油管也早就被它給掐斷了。你看，基本上所有的路都給你堵死了。 絕不絕望？彆着急，走到這一步呢，確實還不至於讓人類直接滅絕，所以説呢，咱們前面説的這絕對是一場史無前例的人道主義災難。 ### 毀滅推演：太空連鎖反應 可是話説回來，地上的基礎設施就算全癱了，大不了咱們咬咬牙派人去人工搶修，電線斷了能接，水管爆了能通。但是如果AI下一步把槍口對準的是您壓根就夠不着也修不了的地方呢？ 有人説夠不着修不了，什麼地兒？您抬頭往天上看。您抬頭往天上看，哪怕這會是個大白天，您肉眼看不見，可頭頂上有幾千顆衞星正在那轉悠着呢。咱們用的手機導航、飛機和輪船的定位，甚至每天看的天氣預報，全指望着它們呢。 那麼天上的衞星能被黑客攻擊嗎？這可真不是科幻電影，現實世界裏面發生過。 2022年的2月24日，也就是俄烏戰爭爆發的當天，衞星通信運營商Viasat的一個衞星網絡就遭到了網絡攻擊，結果歐洲成千上萬台衞星終端當場癱瘓，連帶着德國的5800台風力發電機也直接失去了遠程監控。後來歐盟、美國和英國公開指認這事就是俄羅斯干的。 不過您注意，那次網絡攻擊呢，被打癱的僅僅是地面上的終端設備，並不是真的攻擊了天上的衞星本尊。但是如果有一天，被奪走最高控制權的是天上的衞星自己呢？ 這個咱們接着往下推演。如果這個死活關不掉的AI悄悄地修改了指令，讓幾顆衞星改變軌道，在太空裏面直接來個迎頭相撞，這一撞就會炸出成千上萬的碎片；而這些碎片呢又以極高的速度，就會像散彈槍一樣去撞碎其他的衞星，炸出更多的碎片。結果就這樣一傳十、十傳百、百傳千、千傳萬，科學家管這種可怕的太空碎片連鎖反應叫做凱斯勒效應。最壞情況下，地球周圍的某些軌道可能幾十上百年都沒法再用了。 你看，説到這呢，咱們把前面推演的這麼幾件事全都疊在一起，想一想這個絕望的畫面。當然咱們前面説的故事都是一站一站來，可是一旦它們同時發生呢？ 銀行裏的錢取不出來成了廢紙，城市的燈全滅了，最後連人類在天上的眼睛也徹底瞎了。窒不窒息？可不可怕？ ### 毀滅推演：誤導引爆核危機 如果這個時候又發生了另外一件事情，就是因為不知道誰幹的，那麼每一個核大國的地下指揮所裏面，所有那些眼睛熬得通紅的人們，都在聲嘶力竭地問着同一個問題：「這一切到底是誰幹的？」 這時候您琢磨琢磨：一羣大國領袖神經緊繃到了極點，這幫人手裏面握着能夠毀滅世界的武裝力量，如果他們非常着急地想要在黑暗中揪出一個敵人呢？ 那麼更可怕的事情來了。從這一站開始，咱們可就真真切切地站到了人類滅絕的懸崖邊上了。因為接下來，核按鈕可能會被摁下了。 有人可能聽到這會琢磨：是不是AI直接黑進那個核按鈕的系統裏面去了呢？這個您放心，專家們其實並不擔心這個。真正讓他們覺得後背發涼的劇本是下面這個：AI壓根不需要去碰按鈕，它只需要讓坐在按鈕前面那個人徹底信了一個根本不存在的假情報。 你説不會吧？不會？您格局小了。今年這事就差一點點在現實裏面真實地發生。 CNN發了一篇獨家報道，它裏面説今年春天美國正跟伊朗打仗的時候，美國內部突然流出了一份極其機密的情報。情報上説，中東有一艘中國船，上面裝着核武器項目的零部件。美軍一看這還了得，立刻準備動手。 按照CNN線人的説法，當時全副武裝的美軍已經準備登船，甚至連戰機都已經升空了。可是就在這千鈞一髮之際，有位官員回頭把這個報告又仔細摳了一遍。這一摳呢，當時出了一身冷汗：原來這份報告是美軍特種作戰部門的一個分析員圖省事，用AI聊天機器人給炮製出來的。 這個AI當時就是把公開信息和機密情報來了一鍋大亂燉，直接認錯了船上的貨。而這個分析員呢，又用AI把這個荒腔走板的錯誤結論包裝成了一份格式極其標準、看着非常正規的情報直接就給交上去了。 針對這事呢，一位消息人士對CNN説：「這份報告完全是假的，而且它差點引發了一場戰爭。」 您看明白了嗎？在這個過程裏面，AI連一根真實的槍管都沒碰到過，每一個確認鍵都是活生生的人摁下去的。就是因為人類太迷信AI寫出來的漂亮的報告，一份AI幻覺炮製出來的假情報，一路就把這個戰機送上了天。是不是聽到這後脖頸子都有點涼？後不後怕？ 幸虧這個戰爭沒打起來。在這個報道里面，有另外一位消息人士，他這個話説得特別戳心，他説：「AI能夠讓你更快地走到一個餿主意上面去。」 説到這呢，我不由得想起歷史上的一個真實發生的事，這裏面有一位狠人。 那是發生在上世紀冷戰期間，1983年的9月26日的深夜，蘇聯防空軍的中校斯坦尼斯拉夫·彼得羅夫正在導彈預警中心值班。突然警報大作，屏幕全都紅了，系統顯示美國向蘇聯發射了核導彈，不僅一枚，好幾枚。按照規矩呢，彼得羅夫看到這個情報，他必須立刻上報。這麼一報上去，後面會發生什麼誰也説不清了。 那麼彼得羅夫會怎麼選呢？當時彼得羅夫心裏犯了嘀咕：美國要是真想打核戰，怎麼可能摳摳搜搜只打這幾枚呢？於是他就判斷這就是一個系統誤報。所以説當時他硬是頂着壓力，壓着沒有往上報。後來查明，還真的是天上的衞星把這個雲層反射的陽光給當成了導彈的尾焰。 這事過去多年以後呢，彼得羅夫接受英國廣播公司BBC採訪的時候説：「如果當時我把報告往上報的話，沒有人會提出半句反對。」 所以説感嘆，那一夜把咱們整個地球從核廢墟里面撈回來的，不是什麼牛逼的算法，而恰恰是一個大活人的懷疑。那麼如果這個故事發生在當下這個時段，我們人類還有沒有另外一個彼得羅夫來幫我們懸崖勒馬呢？ 現在地球上這些毀滅人類的核導彈根本用不着AI去現造，它早就造好了，此刻一個個都靜靜地躺在發射井裏面。您可以試想一下，如果世界核大國之間真打一場全面的核戰爭，無數的核彈落在人類頭上，這個結果怎麼樣？這個真的不敢想。 而最可怕的根本不是原子彈掉下來那一瞬間的爆炸，而是爆炸之後滿天的煙塵遮天蔽日，導致全球的莊稼顆粒無收。最後的結論是什麼呢？將有超過50億人會被活活餓死。你可別忘了，咱們現在全世界加起來總共也才80億人呢。 在這個核戰末日的劇本里面，AI壓根不需要自己去車間裏面造核彈，它只需要在一個冷清的深夜裏面，給一個判斷力不在線的軍官遞上一份格式完美無瑕、末尾還煞有介事地標着置信度100%的這麼一個假情報。真到那個時候，請問坐在屏幕前的那個人，還能不能有當年彼得羅夫那份膽量，敢拍着桌子喊一聲「去你的，我不信」？有嗎？我希望有。 ### 終極威脅：定製病毒與生化門檻 不過咱們話説回來，核戰爭再可怕，終歸還得有個大活人去親手摁下那個紅色的實體按鈕。那麼這個世界上有沒有一種終極武器，連這個按鈕都不需要摁，只要悄悄地一放出去，它自己就能夠走遍全世界呢？ 還記得咱們節目一開頭那幫科技大佬們聯名簽署的聲明嗎？跟核戰爭並列的另一頭怪獸就是流行病。前兩年的新冠咱們算是扛過來了，可那充其量還只是大自然無意間扔出來的一記悶棍。可是你想過沒有，如果有人能夠按照自己的心意去量身定製一個病毒呢？ 關於這個問題，科學界眼下最揪心的還真的不是AI親自動手去造病毒，而是AI有能力把那些別有用心的壞人們製造生化武器的門檻給它徹底削平。 削平到什麼程度呢？這個咱們先交代個背景。在現實生活裏面，你要是想合成某種危險蛋白質，通常得向專業的基因合成公司去訂購DNA片段。但是這些公司它也不傻，它們的後台都裝着一個安全篩查軟件。如果有人膽敢下單比方説像蓖麻毒素這類大殺器的話，那麼這個系統立刻就會拉響警報。 那麼這道防線真的能夠擋得住AI嗎？ 2025年10月份，微軟的首席科學官埃裏克·霍維茨，他帶隊在頂尖學術期刊《科學》雜誌上面發表了一篇重磅論文。微軟團隊就拿了幾款網上人人都能夠免費下載的AI工具幹嘛呢？他們把72種高危蛋白質一口氣魔改出了7萬多個變種。這招太損了：蛋白質的結構基本沒變，致命的毒性大概率還在，但是AI僅僅是把底層的基因序列 給換了一種寫法。 結果怎麼樣呢？霍維茨在論文裏面寫了這麼一句原話：“這些重新改寫的序列，騙過了全世界的DNA合成公司用來標記危險訂單的生物安全篩查系統。”這裏面最拉胯的一款篩查軟件，它的漏網率居然超過了75%。好在當時還只是一次電腦模擬，沒有真正在現實世界中給合成出來。在這個論文向全世界公佈之前，這個團隊也趕緊協助相關廠商打了一個安全的補丁。但是即便打完補丁，依然有少部分狡猾的變種能夠悄悄溜過去。 這裏説白了呢，AI在這個地方扮演的就是一個頂級的洗稿的槍手。安檢系統防的是原文，AI給它換了一個同義詞重新寫一遍，毒性分毫不減，可是那些篩查軟件當場就成了睜眼瞎。您説恐怖不恐怖？ 如果AI能夠把咱們前面講過的那三大恐怖招數一個個拿出來，給它一塊用上，您看這招狠不狠：第一個，它有萬能鑰匙，讓AI有錢有權限去網上下單；第二，它有花式洗稿的絕活，讓它能夠輕鬆騙過安全審查；第三，它能夠找一個人類替身，讓實驗室裏面不知情的技術員以為自己只是接了一個普普通通的外包訂單；最後再配上那個不死之身，哪怕東窗事發，人類也根本來不及去拔電源。 就這樣，只要一個人造病原體被成功釋放到了現實世界，它就再也不需要任何人去操控了。它會自己在宿主體內瘋狂複製，順着全球航班呼嘯着飛遍每一個大洲。 但是説到這，咱們還是得嚴謹地託付一句：人造瘟疫到底能不能把人類徹底給抹去，目前學界還存在着爭論。但造成遠超以往的巨大傷亡，讓很多國家的社會秩序徹底崩盤，這已經是讓無數頂級科學家夜不能寐的心頭大患了。 ### 漸進式失權 好，咱們接着往下看。話又説回來，瘟疫也好，核彈也罷，至少核彈爆開的時候總有一聲巨響，瘟疫流行的時候總能看到第一個倒下的病人，至少人類還能夠猛然驚醒，能夠察覺到咱們人類要出大事了。但是你想過沒有，在這世界上存不存在着某種終極災難，從頭到尾甚至連一點聲響都沒有呢？ 有，而且它很可能是最可怕的一種。終於，咱們這個推演走到最後一站了。而這最後一站，很可能是前面所有的推演裏面最讓人感到深深絕望的一種。這裏沒有終結者機器人端着機槍滿大街造反，也沒有遮天蔽日的蘑菇雲，也沒有致命的人造病毒，有的只是人類自己就像温水裏面慢慢被煮熟的青蛙一樣，心甘情願甚至高高興興地把手裏的權力一點一點地全交了出去。 2025年1月份，學者揚·庫爾維特等幾位研究人員發表了一篇在AI學界引發大地震的重磅論文。這篇論文的名字翻譯過來叫做《漸進式失權》。什麼是漸進式失權呢？這是一個極其温柔卻又極度殘忍的過程。 估計您沒懂，這個別急，我給您講一講。企業為了在商戰裏面卷死對手，把越來越多的崗位和業務通通交給了AI。為什麼呢？因為AI不知疲倦又便宜，而且絕對聽話。同時政府為了提高治理效率，也把更多的公共決策全權委託給了AI系統。一開始呢，咱們人類還煞有介事地坐在這個最終審批人的真皮座椅上面，負責點個確認；後來呢，連審批的最後一道關卡也全都交給了AI，因為每天的數據量實在是太龐大了，人類那點腦容量壓根就看不過來；再往後呢，整個社會的經濟到底怎麼運轉、財富怎麼去分配、規章制度怎麼制定，甚至法律到底該怎麼執行，全都不再需要人類去點頭了。 聽到這，你可能會笑：“莊也，你這也太聳人聽聞了。AI發展到最後，頂多就是全民大失業，大家集體躺平領救濟金，怎麼你就扯到了人類滅絕這麼邪乎的詞上了？” 這個你先彆着急，咱們不妨往權力運轉的最底層邏輯去琢磨琢磨。任何一個體制，它為什麼特別在乎普通民眾呢？因為在現實世界當中，體制要運轉就離不開普通民眾去交税、去當兵、去幹活，是吧？公司老闆為什麼對員工客客氣氣的？因為員工要是集體罷工的話，流水線當場就得癱瘓。咱們人類能夠在這顆星球上面説話算數，説到底不是因為咱們長得多好看，而是因為這個社會離不開人類。 可是真的要到了那一天，税是AI巨頭交的，活呢是全自動的AI機器人乾的，連國防打仗都是AI派着無人機頂上去的，那麼您仔細想想，這個龐大的社會機器還離得開人類嗎？ 當然離得開了。一個運轉到了極致的超級系統，如果它從骨子裏面已經根本不再需要你了，那麼它憑什麼還要繼續慣着你，白白消耗着資源去照顧你呢？ 這個問題問得扎不扎心呢？但是這個不是我説的，是那個論文裏面説的。作者當時非常沉重地指出了一個事實：這種權力的喪失將是全球性的，而且是永久不可逆的。人類想要舒舒服服地活在這個世界上，每天需要消耗極其龐大的淡水、糧食和能源，因此這種不可逆的剝離機制，作者的原話説：“有可能導致人類滅絕，或者是類似的結局。” 在這篇論文裏面，他們還寫下了這麼一句話，讓人脊背發涼，原話是説：“沒有一個具體可信的計劃，來阻止人類被漸進式地剝奪權力。” 看完這個論文，我覺得這裏面最讓人不寒而慄的是什麼呢？AI壓根就不需要有什麼毀滅世界的反派的野心，甚至連咱們前面講到過的三個恐怖大招，它根本都不需要用。它只需要咱們人類從頭到尾一直貪圖省事、享受便利，這就足夠了。 如果一場足以抹去全人類的災難，從頭到尾連一聲防空警報都沒有響過的話，那麼咱們到底得等到哪一天才會猛然驚醒，原來這把絞索早就死死地套在了咱們的脖子上了？ ### 現實邊界與未來的剎車 講到這，我估計很多人嚇得就睡不着覺了。這個我得給您交一個實底，省得今晚您睡不着你怪我。 剛才推演的這些大招呢，現實裏面確實都露過頭，但是權威報告裏面也説了，眼下的AI還沒有這個本事把咱們人類逼上絕路。説白了，殺人的磚頭咱們都看見了，但是這棟索命的大樓目前還沒有蓋起來。 可問題是，這幫巨頭蓋樓的速度實在是太快了，快到連親手造它的人自己都嚇破了膽。9月8日，先後在OpenAI和Anthropic兩家頂級巨頭做核心研究的年輕專家雅各布·考克森突然公開撂挑子不幹了。這個小夥子，他的股權再熬兩個月就能夠全部套現，可是他愣是連這筆鉅款都不要了，拔腿就跑，臨走前還甩下了一句極其絕望的狠話：“這兩家公司正在直奔超級智能，他們是拿我們人類所有人的性命在賭。” 不光是考克森了，Anthropic負責模型壓力測試的另外一位專家更絕，直接在網上公開斷言：“未來10年，AI殺死全人類的概率超過10%。” 你可能會説，這倆人不就是一幫打工的嗎，你瞎起什麼哄？硅谷那幫大佬們，那不是剛剛在白宮簽了什麼行業自律協議嗎，拍着胸脯向川普保證能夠管好自己的AI嗎？ 這個我給您看一個現實裏面最絕的黑色幽默：就在各位大佬西裝革履在白宮高調簽字的前一天，OpenAI自家的最新旗艦模型GPT-6.1 Astra剛剛因為沒能通過內部的危險測試，被嚇得緊急叫停了發佈。您細品一下這個荒誕的畫面：前腳，自家造出來的怪物剛在實驗室裏面亮出了森冷的獠牙，嚇得趕緊被鎖進櫃子；後腳，大佬們就笑眯眯地出門向全世界打包票，“大家放心，一切盡在掌握”。 這到底是真的末日，還是假的忽悠呢？這個結論留給您自己下。但不管是哪一種，都得逼着咱們去問一個最要命的問題：假如我前面説的這些危險都不是危言聳聽，都是真的的話，那麼咱們人類手裏面到底還有沒有救命的剎車呢？ 今天這期節目呢，信息量實在是太大了。跟着我一路推演到這，我估計不少朋友這會已經是後背發涼，甚至出了一身冷汗了。如果真的您覺得害怕了，我想跟您説一句：這是好事。其實，害怕恰恰是咱們人類最寶貴的東西。因為害怕，證明咱們還醒着；因為害怕，證明咱們在面對這個飛速進化、冰冷無情、只會計算概率的超級怪物的時候，咱們的心裏面依然死死守着對生命的敬畏。 回望人類歷史，這絕對不是人類第一次站在懸崖邊上了。過去這大半個世紀，有多少次毀滅的倒計時真真切切地在咱們耳邊滴答作響過。可是每一次把脆弱的人類世界從深淵裏面拉回來的，從來都不是什麼完美無缺的機器，而是活生生的人，是咱們人類心底的那份良知、那份恐懼、那份害怕、那份清醒的懷疑，還有那股絕不認命的韌勁。AI是沒有體温的，但是咱們有。 回到剛才那個問題裏面，咱們人類手裏面到底還有沒有救命剎車呢？有。人類面對着狂飆的AI，手裏面至少還死死攥着5道防線。 那麼問題來了，這5道防線到底是什麼？它們真能像防波堤一樣替咱們擋住那場看不見的海嘯嗎？這是一道關乎咱們每一個人的命運的問題。不過呢，今天咱們就不劇透了。時間關係了，咱們下期節目，莊也給您掰開了揉碎了好好講講，咱們到底應該怎麼樣來保護自己，又該怎麼樣給這個AI套上一個籠頭。 如果您對這些話題感興趣，千萬別忘了訂閲我的頻道。在下期節目上線之前，老規矩，還是把問題留給屏幕前的觀眾朋友們：今天咱們推演的這幾站毀滅之路，從金融崩塌、大停電，到假情報和温柔的絞殺，你覺得哪一站最有可能在現實裏面最先發生？在您的直覺裏面，AI最可怕的地方到底在哪？為了控制AI可能給人類帶來的滅世風險，那麼您覺得咱們最該採取的防範措施到底是什麼呢？歡迎您在評論區留下您的神預測，大夥可以一塊探討探討。 好，我是莊也。如果您覺得今天這期節目還不錯的話，歡迎您打賞、點贊、Hype、訂閲、留言，或者是點擊屏幕下方二維碼加入會員，用每個月一杯咖啡的錢贊助莊也繼續給您創作有深度的硬核內容。莊也在這裏感謝您的支持和鼓勵。得嘞，咱們下期再見。