--- author: Best Partners TV date: '2026-10-20' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=LMm7QCoieMc speaker: Best Partners TV tags: - interpretability - neural-network - sparse-autoencoder - superposition - mechanistic-interpretability title: 神經網路實際上是乾淨的：可解釋性研究的新視角與爭論 summary: Nick Cammarata 團隊發表長文推翻早期多義性結論，指出過去神經元混亂主要源於觀察工具缺陷而非疊加態。新工具顯示現代視覺模型末層神經元多數清晰可解，並提出遞歸概括理論。對此 Neel Nanda 質疑其對大模型事實記憶與疊加態本質的普適性。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: - Nick Cammarata - Ilya Sutskever - Chris Olah - Neel Nanda companies_orgs: - OpenAI - Anthropic - Google DeepMind products_models: - Inception - Inception-v1 - CLIP - Qwen-32B - Claude 3 media_books: - 神經網路實際上是乾淨的 status: evergreen --- 大家好，這裡是最佳夥伴，我是大飛。 在人工智慧可解釋性領域，有一個經典案例流傳了十年：在一個名為 Inception 的視覺模型中，有一個編號為 4155 的神經元，當它看到貓的臉時會強烈放電，當它看到汽車的正面時也會強烈放電。貓和汽車——兩個完全不相關的事物——卻共用同一個神經元。當時，這個案例成為一個象徵，暗示神經網路的底層邏輯是混亂且無法解釋的。 整整十年來，整個領域都以「解耦」為重點向前發展：如果神經網路是一個錯綜複雜的黑盒子，我們就必須發明工具來將其拆解。從稀疏自編碼器到特徵字典和特徵分解，所有這些都遵循這樣的邏輯：首先將相互糾纏的特徵分解成人類可以理解的獨立單元，然後分析它們。 但就在最近，尼克·卡馬拉塔（Nick Cammarata）——這篇里程碑式論文的合著者，也是早期可解釋性研究的先驅——親自推翻了他先前的結論。他說：「這個神經元既不知道貓是什麼，也不知道汽車是什麼；它實際檢測到的是微觀幾何形狀。」無論是狐狸的尖臉還是噴射的火焰，都能激活它，而圓形物體則會抑制它。 ### 觀察工具的升級與十年共識的逆轉 造成誤判的根本原因是當時的觀察工具過於原始。他發表了一篇題為《神經網路實際上是乾淨的》的長文，閱讀需要 65 分鐘。這裡的「乾淨」並不是指一個神經元只做一件事，而是指神經網路具有極為連貫、巧妙的組織結構，可以直接被人類解讀。它就像一張組織良好的地圖；如果您想查看細節，只需雙擊放大即可。 要理解本文的意義，我們只需查看一些簡單的數字比較即可。2013年，Cammarata 在 OpenAI 參與了第一個大規模自動神經元解釋計畫；以當時的工具，他們只能解釋約 2% 的神經元。三年後，他帶著更先進的演算法和人工智慧團隊重返研究領域。在他們測試的現代視覺模型中，最後一層中 99% 到 100% 的神經元可以得到相當清晰的解釋。即使是當年以混亂著稱的《全面啟動》，在歷史上使用新工具進行觀察時，其可解釋性也顯著提高。論文的摘要也提到，對於參數多達數百億的模型，大多數神經元都可以被理解。 OpenAI 核心研究員 Ilya Sutskever 轉發了這則訊息，並表示：「這是科學史上一個重要的時刻；我們終於可以將人工智慧變成一門嚴謹的學科。」這聽起來可能有些誇張，但意義絕對準確。如果本文的結論成立，那麼過去十年來可解釋性研究的核心焦慮將被推翻。多年來在 SAE 分解、特徵字典和解耦方面投入的大量精力可能都走錯了方向。 這種長達十年的共識最初是如何形成的？讓我們從頭開始。 2014 年的 Inception-v1 是早期可解釋性研究的模型生物；整個領域都將其用作解剖標本。研究人員發現，其淺層神經元相對清晰，但隨著深入，神經元內部變得一團糟。當時，學術界估計最後一層的可解釋神經元只是一些零碎的東西，「多義性」就是最著名的例子。 為了解釋一個神經元對應多個不相關概念的現象，該領域提出了一個名為「疊加」的核心理論。這意味著當神經元數量不足時，人工智慧會悄悄地改變學習策略，將不相關的概念折疊到同一個神經元中。這些概念很少同時出現，因此它們不會相互干擾。 2020 年，Cammarata 和 Chris Olah 在一篇論文中提供了更具體的證據，表明該網絡實際上將汽車特徵訊號隱藏在一組狗神經元中；疊加理論被認為得到了證實。由於網路錯綜複雜，必須發明工具才能將其分開。長期以來，像 Anthropic 和 OpenAI 這樣的頂級實驗室一直將 SAE 視為主流解決方案；其想法是訓練一個輔助模型來提取多個特徵，然後將這些內容重新分類，並貼上人類可讀的標籤。 但卡馬拉塔注意到一個細節：每次觀察工具升級時，那些看似混亂的神經元都會自動變得更清晰一些。他不禁懷疑，問題可能根本不在神經網路本身，而是在我們用來觀察神經網路的工具上。 回顧這些工具的發展歷程，這條線索其實非常清楚。特徵視覺化技術誕生於 2009 年，當時合成的影像無法解讀，是迷幻圖案。後來，引入變換穩健性後，影像變得清晰了。時至今日，Cammarata 團隊利用微調的參數引導演算法，沿著真實影像的自然活化路徑進行觀察，發現像 CLIP 這樣的現代架構中，最後一層中超過 99% 的神經元是可以清晰解釋的。 事實證明，10 年來，每個人都在與工具引起的錯誤作鬥爭；隨著工具的升級，可解釋性領域中兩個最經典的語義多義性案例都被推翻了。 ### 幾何特徵與新驗證方法 這種逆轉的核心邏輯是利用動態機制和邏輯幾何特徵來推翻以前靜態的、字面上的名目分類方法。以貓車神經元為例；過去的特徵視覺化本質上是使用梯度下降演算法來合成能夠最大程度激活神經元的圖像。然而，該演算法會走捷徑來追求最高的啟動值，這在機器學習中被稱為「獎勵駭客」。由於 ImageNet 訓練集包含大量的貓和狗的圖像，因此它們的特徵非常強。演算法合成的最強活化影像會充滿偶然殘留物，例如貓鬍鬚和狗毛。研究人員根據這些偶然特徵對其進行了解釋，自然而然地將其誤認為是動物神經元。 卡馬拉塔團隊這次採用了兩種更嚴謹的方法： - 第一種方法稱為「激活路徑引導」，它微調正則化參數，迫使演算法沿著真實圖像的自然激活路徑合成特徵，從而消除演算法本身產生的干擾噪聲。 - 第二種方法是「正負交叉驗證」，它不僅研究什麼能最大程度地激活神經元（正向），還研究什麼能最大程度地抑制神經元（負向），利用兩端來錨定其真實功能。 結果顯示，神經網路實際上是根據幾何形狀進行分類的；神經元 4155 檢測有棱角的幾何形狀。任何棱角分明的輪廓都會觸發其正極，例如狐狸的尖臉、噴射的火焰、汽車的角部，或消防船噴射出的尖銳水柱。相反，所有圓形輪廓都會觸發其負極，例如圓形的臉、球體和圓形的輪子。 再來看看第二個案例，汽車和狗神經元，這是佐明當時提供的證據。在 Inception-v1 訓練資料中，狗的圖像數量遠遠超過汽車，而且與狗相關的神經元密度更高，導致優化過程陷入局部圖像盆地而無法脫身，最終合成的頂級激活圖像全部都是狗。為了揭開真相，團隊引入了自動化人工智慧工具，對該電路進行動態梯度追蹤和消融實驗——你可以將消融理解為受控變數測試。結合廣義軸解耦方法，他們發現這組神經元根本不是狗的神經元；它可以檢測物體是否正對攝像頭，並且是左右對稱的。在此處，汽車的特徵被標記為「面向前方」後，它們會繼續流向更深的層次，最終分支成真正的汽車分類電路和狗分類電路。 前面提到的多義性的根本原因實際上是資料集中的偏差；特徵沿著訊號自然地經歷連續的泛化和發散。 ### 遞歸概括與神經元的功能分支 因此問題來了：如果網路不是隨機堆疊的，那麼這些多義現象究竟又是從哪裡來的呢？ Cammarata 提出了一種新的解釋，稱為「遞歸概括」。他認為神經元像樹枝一樣生長。神經元最初可能只能辨識油菜花，然後沿著「黃色」特徵軸慢慢擴展以識別所有黃色物體，再沿著「圓形」特徵軸擴展到各種球形物體。沿著「花田裡的生物」這條聯想路徑，它進一步涵蓋了花田裡的狗，最終甚至延伸到了綠色的西蘭花。如果你只看到這個神經元對油菜花和西蘭花都有反應，很容易認為這個模型的邏輯是混亂的。但如果你追溯它的完整發展歷程，你會發現每個分支和每個功能擴展都遵循連貫的邏輯。 在語言模型中，遞歸泛化甚至更加極端。原本只能偵測 “IY” 音的神經元在訓練過程中會擴展以識別單字 “y”，最終可以被短語「自己動手」激活，而這個短語甚至不包含 “IY” 音。背後的原理是什麼？ 還有一個更完整的語言模型案例：Qwen-32B 模型中的「Zaki」神經元。底層是拼字片段，例如 “ki” 的結尾、“key” 後綴或字母組合。中間層是模式層，例如羅馬化規則或常見的日本姓氏後綴 “syek”，像 “Zaki” 這樣Names就屬於這一類。到第四層時，它開始識別出 “Zaki” 這個名字本身；「扎基君」和「扎基桑」來了。再往上，第六層到第八層是關聯層，包括 Zaki 的作品，如《花牌情緣》或《志後文》。這條鏈從最基本的拼字片段發展成完整的「人名」概念，每一層都有明確的分工。 大規模掃描結果也支持這一觀點。研究團隊使用可解釋性工具隨機抽取了 1000 個神經元樣本，並撰寫了詳細的分析報告，發現約 90% 的神經元基本上只有一個功能，而且它們的分支通常是相關的。例如，「地質學」神經元會對地質元素以及名為「地質學」的 JavaScript 庫激活，因為該庫的名稱是「地質學」。這可以看作是同一概念的延伸。剩下的許多神經元只承擔兩到三項任務，卡馬拉塔說他從未見過任何一個神經元執行不相關的功能。 ### 極端壓力測試與 SAE 的爭議 此時，傳統主義者肯定會立刻反駁：如果神經元真的不夠用，神經網路難道不會切換到疊加模式嗎？ 為了消除這種疑慮，卡馬拉塔設計了一個極端壓力測試。他瞄準了 InceptionV1 的第 3b 層。這一層具有獨特的功能：沒有殘餘連接，這意味著訊號無法繞過它。他將原本用於曲線檢測的 480 個神經元壓縮到只有 10 個——壓縮了 48 倍——並從頭開始重新訓練。 根據疊加理論，當空間嚴重受限時，網路必然會將各種不相關的特徵塞進這十個神經元中。然而，結果卻恰恰相反。這十個神經元中的每一個都清晰可解釋；它們只是涵蓋了更廣泛的範圍。一個曲線偵測神經元主動合併了原有的十個不同角度的子曲線偵測器，而另外兩個圓形神經元則涵蓋了複雜的圓形分類。 該實驗還揭示了一個更具破壞性的發現：透過 SAE 提取的特徵不僅不夠清晰，而且其反應寬度比原始神經元寬好幾倍。這意味著什麼？這意味著，在過去幾年裡，無數科學家為從「黑盒子」解碼出的疊加特徵而歡呼雀躍，但這些疊加特徵可能僅僅是 SAE 工具本身產生的數學假象。 此外，這種直接觀測方法現在已推廣到超大型模型中。該論文提出了 Claude 3 的歸因圖，據他們所知，這是第一個公開發布的萬億參數模型的歸因圖。給模型的提示是：「我應該怎麼辦？」模型的回應是：「你應該退貨。」歸因圖顯示，問題中的事實與「遺失物品」和「誠實」相關的神經元相連，然後又與「歸還」概念相連。卡馬拉塔表示，到目前為止，這種規模的大多數事情都可以用直覺來解釋。 他也提到了一個較小的結構發現：目前神經元中的 SwiGLU 結構存在雙重否定問題。當閘控輸入和值輸入都是負值時，啟動值會被推向正值，這看起來像是負值的恢復。通常情況下，這種增長幅度很小，但對於大約 4% 的神經元來說，激活列表的頂部完全由這種增長組成。移除這些神經元會導致網路在許多基準測試中的得分上升，而在某些推理任務中的得分下降。團隊認為答案可能很簡單；或許有些神經元正在利用這種活化進行更長的推理，它們正在呼籲架構設計者解決這個問題。 ### 業界討論與 Neel Nanda 的質疑 長篇報道發表後，卡瑪拉塔的留言區變成了大型問答環節。有人問，如果未來出現非 Transformer 架構，這種方法是否仍然適用？他給出了肯定的回答，並補充說，性能更好的模型更容易在內部解釋。舊式卷積網路、新式卷積網路和現代 Transformer——三種不同的底層架構——已經證明了這個理論的普適性。 聯合創始人麥克·坎農隨後問道，是否有厚望將神經網路的「清潔度」轉化為正式的行業評估指標。卡瑪拉塔說這並不難；控制活化、消融線和盲點偵測都是可以直接對神經網路的底層順序進行評分的方法。 然而，真正具有重大意義的回應來自一位重量級人物——Neel Nanda，他是 Google DeepMind 機制可解釋性團隊的負責人，也是疊加理論的核心人物之一。他在推特上直接潑了一盆冷水，說道：「說清楚點，這項工作很有趣，但我認為它對可解釋性的整體圖景並沒有帶來重大更新。」 讓我們先來看南達同意的部分： - 他表示支持利用神經元進行探索性解釋的總體方向。例如，基於神經元的歸因可以用來回答諸如「為什麼模型做了壞事」之類的實際問題。 - 結合先前對 Transcendent 的研究，這種方法可能真的具有實際價值，並且比 SAE 變壓器等標準工具具有獨特的優勢。 - 直接研究預訓練模型中的神經元也容易得多。他尤其期待在解釋神經元方面取得更多創新，認為這一領域一直被忽視，並且具有很高的發展潛力。 但他立即劃清界限，不同意一些人做出的更宏大的推斷，例如將此視為在完全逆向工程方面取得的實質性進展，或可解釋性的徹底解決方案。他的判斷是，即使神經元歸因解決了錯誤，並簡化為只包含最重要的成分，仍然會存在重大錯誤和大量噪音。雖然這足以做出實際判斷，但他仍然對聲稱完全了解該網絡或確定其中沒有錯誤持悲觀態度。 核心分歧在於：南達指出，雙方甚至沒有就疊加態的同一個定義進行爭論。「疊加」一詞在該領域至少有五到六個定義，其中兩個最為核心： 1. 「任意疊加」：即網絡將不相關的特徵塞進同一個神經元中；這是卡馬拉塔反駁的版本。 2. 「表徵疊加」：即大型模型通過使用少量神經元的線性組合來表達龐大的概念，從而記住比其神經元數量多得多的特徵；南達澄清說，作者們實際上同意他的觀點。 他也補充了一個直觀的觀察：模型中的事實和記憶內容遠遠超過了神經元的總數。事實和記憶本質上是一個非結構化的鍵值資料庫，這與「單語義神經元」方法不相容；疊加是一種透過線性組合來封裝比神經元更多事實的有效方法。 在此基礎上，南達從三個維度提出了具體挑戰： - 首先是弱激活的定位。Cammarata 認為弱活化大多是從特徵延伸出來的噪音分支，可以無害地剪除，但 Nanda 認為它們儲存了大量的事實和記憶組合——疊加的核心載體——移除它們將嚴重損害網絡效能。 - 第二點是視覺和語言之間的根本區別。論文最可靠的證據來自視覺模型，但語言模型承載著大量的事實記憶和知識，其資訊密度要高出幾個數量級。小型影像模型的記憶容量較弱，因此無法用來證明大型語言模型中不存在疊加態。論文中對「單義」的定義過於寬泛；按照他們的標準，許多被認為是單義神經元的神經元實際上應該被認為是多義神經元。 - 第三，關於 SAE。Nanda 澄清說，SAE 通常不會在單一神經元的層面上發現問題。對於某些任務而言，它甚至比神經元更勝一籌；殘餘流上的 SAE 仍然是不可替代的，並且可以敏銳地反映模型在每一層的資訊瓶頸。這不是二者取其替代的問題；兩者各有其適用場景。 有趣的是，在對這些發現潑了一盆冷水之後，南達不忘補充說，尼克使用現代工具和更嚴格的方法重新審視早期視覺研究的做法值得稱讚。 ### 研究局限性與未來方向 面對這些批評，卡馬拉塔依然坦誠，承認這篇論文只是一個工作假設，還有幾個關鍵問題尚未解決： - 首先，就規模而言，隨著模型規模的增大，可解釋性尚未達到飽和。巨型模型的內部結構依然清晰，但超大規模本身帶來的工程挑戰遠未完全解決。 - 從範圍上看，該研究僅涵蓋視覺和語言中的單模態模型。多模態模型，特別是融合層的電路組織，完全沒有解決，並且可能遵循與單模態模型完全不同的規律。 - 關於核心機制，遞歸泛化僅在影像模型中完全追蹤。語言模型在訓練過程中缺乏檢查點數據，因此無法直接觀察神經元的逐步演變；只能從最終狀態推斷。 - 至於具體定位，他表示從未完全拒絕 SAE。實驗僅證明，在高度壓縮的層上，SAE 無法提取乾淨的、原生的特徵。但在正常的、未壓迫的層中，SAE 與原生神經元之間的形狀匹配度達到 0.96 到 1.0，仍然是一種有效的方法。 - 關於方法論上的局限性，目前的結論高度依賴引導性實驗和歸因圖，而這些實驗和歸因圖本質上是基於擾動驅動的結果。在完全自然的狀態下，沒有主動擾動的情況下，嚴格的因果驗證仍然是一個開放性問題。 然而，即使作為一項工作假設，本文也已經迫使實踐者在四個關鍵方向上重新調整他們的方法： 1. 對於致力於可解釋性的團隊來說，不要再執著於對有 SAE 的網絡進行「手術」了。相反，直接觀察天然神經元和迴路，進行快速、常規的觀察。 2. 對於致力於安全規範制定的團隊來說，這是個好消息。如果原生網絡本身就易於理解，那麼理解人工智慧的門檻就會大大降低。協調超級智慧仍然很困難，但至少起步比預期的要容易。 3. 對於設計架構的團隊來說，殘差流和層歸一化等旨在幫助模型更好地學習的改進措施，卻意外地使網絡更容易閱讀。未來的架構搜尋可以公開地將可解釋性作為一項指標，因為它與效能相容。 4. 對於應用層工程團隊而言，未來對 AI 行為的控制可能不需要微調。透過介入調整單一神經元，可以改變模型在特定法律或醫療場景中的行為，從而將概念性論文轉化為可用於生產的功能。 此外，我也想分享一些我自己的想法。論文摘要中有一個比喻讓我印象深刻：卡馬拉塔提到，腎臟過濾廢物，平衡鹽和水，幫助調節血壓，甚至向骨髓發出信號以產生紅血球。腎臟具有多種功能，但從來沒有人質疑過腎臟是否為單一的器官。我們過去可能對神經元的要求太高了。 兩者之間存在著數字上的對比：OpenAI 在 2024 年的一篇論文中估計，繪製前沿模型可能需要數十億甚至數萬億個特徵，而 Kammarata 則懷疑我們真正需要理解的特徵列表實際上要短得多。 過去，人們觀察模糊的神經影像，得出結論：神經網絡是無法解釋的。現在回想起來，或許混亂的從來不是網絡本身，而是我們觀察網絡的方式。「慘痛的教訓」似乎再次得到了驗證；在理解人工智慧的道路上，簡單的解決方案往往才是正確的。 當然，其他人的懷疑並非毫無道理。大型模型中的高密度記憶和事實尚未被直接征服，所以這還不是最終目標；這只是一項早期研究，坦白說，它只是一個工作假設。但至少，它讓我們看到了全面理解該模型的希望。