--- author: Best Partners TV date: '2026-11-03' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=TXcnAHNA0RU speaker: Best Partners TV tags: - world-model - interpretability - embodied-ai - inductive-bias - representation title: 世界模型真的懂物理吗：对话 Somya Joseph 谈可解释性与物理 AI summary: 节目讨论了 Somya Joseph 关于世界模型与可解释性的观点。他指出可靠的世界模型需具备与物理世界功能同构的内在表征，单纯黑盒测试无法保障安全与效率。通过机制可解释性提取物理基元并引入归纳偏置，有助于降低训练成本并推进物理 AI 落地。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: - Somya Joseph - Rachel Metz - Yann LeCun - Theodore McLain companies_orgs: - The Information - Waicmechanics - Google - Polymathic - Stanford University - Meta - OpenAI products_models: - JEPA - Sora media_books: [] status: evergreen --- **大飛**: 大家好，這裡是最佳合作夥伴，我是大飛。人工智慧現在可以生成逼真的視頻，並幫助机器人在房間裡行走，但它真的了解物理世界嗎？最近，在 The Information 的 APDive 節目中，主持人 Rachel Metz 採訪了 Waicmechanics 的聯合創始人兼首席執行官、前人工智慧研究員 Somya Joseph。索米亞在節目中提出了一個大膽的想法：世界模型和可解釋性是同一枚硬幣的兩面。更直白地說，如果沒有可解釋性，就沒有真正可靠的世界模型。今天，我們將與大家分享那場對話的內容。 我們該如何理解剛才提到的觀點？索米亞首先對「世界模式」這個概念進行了解釋。他表示，現在這個術語被濫用了，美國東海岸和西海岸的研究人員談論的是完全不同的事物。東海岸，像紐約和蒙特利爾一樣，深受神經科學的影響；當他們談論世界模型時，他們關心的是神經網路實際代表的是什麼，以及它是否映射到物理世界。西海岸對「視訊模型」的定義，大家所熟知的手法不是能夠產生逼真影像的影片模型，就是能夠被塞進機器人大腦的導航模型。索米亞說這三件事有關聯，但並不相同。無論是逼真的視覺效果還是可以移動的機器人，其根本問題在於模型是否對物理世界形成了內在的理解。 更進一步來說，一個真正有用的世界模型必須具有與物理世界形成功能同構的內在表徵。簡而言之，如果你把球拋向空中並接住它，模型必須有一個清晰的表示來跟踪球的運動，並且這種表示必須是人類可讀的，而不僅僅是一堆雜亂無章的啟發式方法或死記硬背的片段。索米亞承認，許多神經科學家可能不同意這種觀點，但根據目前的證據，他認為這是發展的方向。 那麼，為什麼需要找出這些內部表徵呢？我們難道不能只查看輸入和輸出，進行黑盒測試嗎？索米亞給了兩個理由。 首先是安全性和可靠性。如果你家裡有一台服務機器人，你需要確保它真正理解物理對象的永久性——也就是說，如果桌子上有一個杯子，你把頭轉開再回頭看，它仍然在那裡。黑盒測試很難完全涵蓋這一點，但白盒分析則不同；它可以直接探測模型是否具有與物理可能性相對應的特徵。以手術機器人為例：如果它告訴醫生下一步該怎麼做，你怎麼知道它不是在產生幻覺？因此，我們必須檢查其內部表徵，以確認它是基於實際的外科手術操作，而不是無關的線索，例如醫生的口罩顏色或他們是否戴著戒指；當前的世界模式確實會犯這些錯誤。這也適用於製造場景，例如將熔融鋼水澆注到模具中，感測器語言模型會整合視訊、溫度和壓力數據，告訴你溫度過高，並減慢澆注速度。如果它判斷錯誤，而你又聽從了它的建議，最好的結果是你的缺陷率上升，最壞的結果是你浪費了數千美元的材料。在這種情況下，可解釋性不僅是一個安全問題，也是一個經濟問題；因此，你必須先信任它的判斷，才能真正加以利用。 第二個原因是資料效率；目前訓練這些模型會消耗大量資金，這位專家打了個比方：這就像為了六點而通宵突擊一樣。在考試前幾個小時，你可能在考試中取得不錯的成績，但你大腦中的知識是零散的、容易出錯的，並且缺乏真正的理解。因此，可解釋性引導的訓練採取了一種不同的方法，即在各個節點檢查模型是否已經學習了特定的能力（例如物體持久性），如果沒有，則添加有針對性的數據。這樣做有可能將資料消耗量降低幾個數量級。他提到了影響函數，這涉及到識別哪些數據觸發了某種能力以及它在權重中的存儲位置；這本質上也同是一個可解釋性問題。 他還提到了另一種方法，即設計本身就具有可解釋性的模型；例如，在自動駕駛策略網絡中，你可能關心它是否已經學習了加速度和速度等物理基本概念的穩定表示，這樣你就可以將那些潛在變量直接嵌入到模型中。這樣，你就不必在龐大的潛在空間中漫無目的地搜索，而且你也確切地知道該在哪裡尋找。他承認這聽起來有點像歸納偏見，在如今這個「吸取苦果」的時代，這種偏見並不流行，但他相信這條路將會復興。 這時，主持人插話問道，自動駕駛汽車已經上路了，但似乎沒有人將物理概念硬編碼到模型中——難道它們不都是透過端到端深度學習來學習的嗎？他回答說，這取決於你希望你的開發週期有多長。如果你有時間慢慢驗證，端到端驗證當然可行，但如果你想大幅降低開發成本，這些技術就不可避免了。他也提到，許多自動駕駛公司已經在聘請研究人員進行機制解釋性研究，正是為了實現這一目標。人類本身就是經過進化過濾的歸納偏見；有些偏差非常有效，找到這些偏差可以顯著提高內建架構的效能。 此外，他提出的解決方案並非隨意構思；它更像是一個簡化的過程：首先，使用經典的蠻力方法訓練一個高保真視頻模型，將其潛在空間視為一個世界，使用強化學習來搜索人類可以理解且對輸出有因果影響的內部表徵，然後將這些變量作為歸納偏置嵌入到第二個模型中。以這種方式創建的模型本身就具有可解釋性，並且性能更高，數據效率更高。孫亞表示，據他所知，目前還沒有人這樣做，但他認為這條路非常值得走。 主持人接著問道，這樣做是否會對模型造成過大的限制？例如，如果您在第 N 代模型中識別出線性加速度和角速度的概念，並將它們融入第 N + 1 代模型中。但是，如果讓 N + 1 代自由訓練，它可能會找到一個更穩健的概念，將兩者結合起來；孫承認這種擔憂不無道理，但歸根結底，這是一種權衡。如果你擁有無限的資金和資源，那麼端到端的訓練或許確實更好，但這並不現實。他說，業內存在著「一刀切」的心態，這在語言上在某種程度上是正確的，但在實際應用中卻行不通。物理世界中的感測器數據太過複雜——視訊、音訊、溫度、壓力、電壓以及各種工業數據——因此，單一模型不可能涵蓋所有數據。他以動物王國為例：動物王國完全由專門化的智慧構成，它們既有共同之處，又擁有獨特的感知能力，因此，一旦物理人工智慧真正發展起來，肯定會湧現出許多意想不到的垂直領域。 語言算是一種生理狀態嗎？孫亞說他傾向於認為並非如此。物理世界的數據有其真實情況，我們已經掌握了許多物理定律；我們可以精確計算出投擲球的落點和時間，但語言卻不是這樣運作的——如果你開始一個句子，很難確定它會如何結束。物理世界存在著數學上的對立面：球是向左還是向右？貓的反義詞是什麼？它是狗嗎？國王和王后哪個比較好？這不確定，所以它們是兩回事；他承認語言有結構，語言學本質上是語言世界的物理學，但語言學與能夠精確計算物體落點的物理學並不相同。 主持人提出了一個非常有趣的問題：對於像天氣這樣的混沌系統，我們不知道應該事先用哪些概念來初始化模型。牛頓力學很簡單——品質和速度都有明確的定義——但對於天氣預報來說，我們不確定網路應該代表什麼。他提到已經有人在著手做這件事了。今年早些時候，Google 旗下 Polymathic 和史丹佛大學的 Theodore McLain 進行的一項研究非常有趣：他們在模型中發現了與颱風相對應的潛在向量，從而可以透過操縱模型的特定部分直接誘發渦旋結構。這相當於模型學習科學模擬器，顯示混沌系統也具有可發現的基本單元。這些基元可能不是線性方向，而是流形；它們的形狀和提取方法仍是未解之謎。然而，這項發現本身意義重大：事實證明，不僅牛頓力學有其作用；即使是像天氣這樣極其複雜的系統，也可以透過可解釋性技術產生我們可以解釋並用於決策的結構。 接下來，兩人討論了大型語言模型的限制。主持人提到 OpenAI 的 Sora 能夠控制機器人和創作藝術，似乎更了解物理世界，並問道，LLM 最終是否可以解決所有問題。客人直接回答：他的意思不是說語言不重要。語言文學碩士將是解決問題的關鍵一環，他也完全承認這一點，但語言無法包含物理世界的所有資訊。他舉了一個藝術史的例子：畫家可以區分十種不同的藍色，但日常語言中卻缺乏如此細緻的術語。將感測器數據直接轉化為語言——除非進行極其詳盡的註釋——否則會導致大量不準確和低效的資訊。因此，我們必須繞過語言，直接從感測器資料中學習。他注意到矽谷有一種說法，即超級智慧語言模型將遞歸地自我改進，並徹底解決實體人工智慧問題。他認為這是一個童話故事，發生的機率約為 0.001%。物理世界存在時間、速度和資訊方面的限制；它與數位世界有著本質的差異。他打了個比方：創投家總是問為什麼大公司做不到這一點。他認為這個故事聽起來也好得令人難以置信。大公司規模太大，內部協調不協調，效率低下，遞歸式自我改進也會遇到類似資訊的瓶頸。因此，它更可能是一個生態系統，而不是單一的控制者。 關於可解釋性的受眾，嘉賓表示，目前的學術可解釋性通常是為其他研究人員和數學家設計的，但在商業場景中，你需要讓它能夠被實際做決策的人理解。以天氣模型為例。你需要讓氣象學家能夠理解它們，甚至讓不了解人工智慧的第一線工作人員也能理解。常見的格式可能仍在解碼成自然語言的過程中。然而，這不應該是模型輸出的思路鏈，因為研究表明，這些輸出通常與實際的內部計算不符。我們需要從內在表徵中提取因果推理鏈，並用人類能理解的方式呈現。索妮亞說，他們和很多工程師談過，但他們根本不了解人工智慧。他們最大的恐懼是，這個系統對他們關於物質世界的判斷是真是假，或者他們不敢遵循這個判斷。 那麼，他對 Yann LeCun 的 JEPA 有什麼看法？他曾與 Meta 的 Yann LeCun 一起開發 JEPA 模型，並對其評價很高，稱其為他見過的最酷的粉底模型之一。JEPA 的核心是在潛在空間中進行預測，而不是預測像素。他用氣球作比喻：如果你被告知你身後有一個氣球，你不需要知道它的顏色、質地或光照情況——那樣做會浪費計算資源。在抽象的、與任務相關的層面上知道有一個氣球就夠了。這就是 JEPA 的作用。它從物理世界中提取出類似語言的、高效率的輸出。它不一定能翻譯成英文，但針對特定任務進行了最佳化。你可以把 JEPA 看作是一個內核，它將高維感覺資料投影到高效的特徵方向上。那麼，JEPA 是世界模型的正確解決方案嗎？他再次強調，這取決於具體情況。他認為沒有一種模式可以解決所有問題。例如，為了渲染逼真的場景，他甚至設想了一個流程，其中 JEPA 處理抽象的人物和物體，而擴散模型處理皮膚紋理和頭髮顏色的渲染——每個模型都發揮自己的作用。他與 Yann LeCun 的最大分歧是什麼？他說他非常尊重勒昆，並深受他的影響，但主要區別可能在於他認為可詮釋性是不可或缺的，而他不確定勒昆是否同意這一點。他提倡「可解釋性優先」。無論是 JEPA 模型、擴散模型或像素模型，它們都必須是可解釋的。 最後，兩人聊起了他的實驗。他在 ICLR 2026 上有一篇論文，探討視訊世界模型是否有物理變數的解耦表示——簡單來說，就是模型內部是否有物理模擬器。如果這是真的，你應該可以透過旋轉旋鈕來調整球的運動方向、重力常數等等。這個問題在認知科學領域實際上已經爭論了幾十年：人腦是否有內部物理模擬器？如果你閉上眼睛，想像自己在臥室裡走動，你會覺得它就是這樣運作的。但如果你真正研究人腦，你能找到與沙發、重力或物體恆存性相對應的神經表徵嗎？證據一直都模稜兩可。 目標是對視訊模型進行同樣的研究，視訊模型比人腦簡單得多，也更容易進行探究。結果發現，在這些模型中，語言模型中的許多假設根本站不住腳。潛在空間中的方向變數是一個約 60 維的超球面；它根本不是一個線性特徵方向。當你改變方向時，速度也會改變——兩者緊密相連。這就是為什麼在語言模型中很流行的稀疏自編碼器在這裡很難使用的原因；它們尋找的是線性方向，但你面對的是龐大的高維度結構。 他們也利用認知科學中的「可能與不可能」任務作為代理，確定了所謂的「物理湧現區域」。例如，一個球躲在牆後永遠不會出來——這是不可​​能的。因為透過觀察模型在這些任務上的表現，你可以估計它在多大程度上內化了物理定律。結果表明，物理資訊處理在模型的中間層達到峰值，之後實際上會下降。 此外，此模型處理資訊的方式與人腦非常相似，都採用了視網膜拓樸編碼。速度和加速度的處理速度很快，而方向的處理速度則慢得多。取向的處理驅動著整個物理湧現區域；在這個區域，MLP 單元執行幾乎完美的 360 度方向專門化，每個神經元對應一個特定的方向，而局部注意力頭執行時空整合。 孫表示，這顯示目前世界模型所學習到的潛在空間是高度糾纏的。暴力運算或許能解決這個問題，但這可能需要 20 年時間，並消耗掉 20 個核反應爐的運算能力。另一種方法是將方向和速度等概念預先融入下一代基礎模型中，這可以將訓練成本降低到原來的幾分之一。然而，他也相當謹慎，強調這只是初步研究。該論文僅測試了由兩個不同的物理模擬器產生的數據分佈，且模型規模相對較小。物理資訊是否會在更大的模型中自發性地分離，還有待未來的研究來驗證。現在就斷定所有世界模型都以這種方式運作還為時過早。 在訪談的最後，朱成提到他過去認為，一旦世界模型變得足夠可靠，可解釋性就沒那麼必要了。現在，他覺得這兩者密不可分，就像一枚硬幣的兩面。一旦可解釋性得到釋放，世界模型就能變得更加準確、數據高效和可靠，真正發揮其潛力。總的來說，這次採訪並沒有提供任何簡單的答案，但它確實把實體人工智慧面臨的不可避免的挑戰擺到了檯面上。當人工智慧開始在現實世界中進行判斷和採取行動時，我們如何確定它所依賴的資訊是正確的？目前這個問題沒有捷徑可走；我們未來可能需要同時依賴可解釋性和世界模型。感謝觀看，下次見。