大家好，這裡是最佳射手，我是大飛。
兩週前，Google 發布了 Gemini 1.5 Pro，10 月 28 日，Google 發布了一款名為 Gemini 1.5 Flash-8B 的新型號。大約在同一時間，第三方評估機構 LMSYS 更新了其 LLM 排行榜。Gemini 1.5 Pro 以 59 分位居第一，將 Claude 3.5 Sonnet 擠出了榜首位置。就連谷歌執行長桑達爾·皮查伊也拿 X 開玩笑，說谷歌現在正在周期性地發布車型。上一代的代號是氬，這一代的代號是碳，兩者都是化學元素。模型評估負責人彼得·戈斯特夫對這兩代產品評論道：「Gemini 1.5 Pro 比 Argon 好；我真希望他們直接跳過 Argon，發布這款產品。」
在今天的影片中，我們將回答三個問題：首先，這個排名第一的排名有多可靠？其次，與分數相比，此次版本更新中最重大的變化是什麼？第三，為什麼你現在可能無法使用這款新發表的全球領先型號？
模型定位與基準測試表現
谷歌官方部落格明確將 Gemini 1.5 Pro 定位為 Google 最強大的型號，並專注於兩個主要領域：網路安全和長上下文任務能力。請注意，官方公告並未披露參數規模或架構細節，僅表示它是在兩週前的 Gemini 1.5 Pro 的基礎上構建的，並通過訓練後和代理環境調優進行了進一步優化。這種不透露「配方」就談論自身能力的做法，如今已成為領先實驗室的慣例。
首先，我們來看看分數的品質；LMSYS Chatbot Arena 指數是一個綜合評分，由知識、推理、編碼和數學等各種測驗的加權結果組成。目前版本為 V 5.0，其中 Gemini 1.5 Pro 獲得 59 分，Claude 3.5 Sonnet 獲得 58 分，GPT-4o 獲得 57 分。積分差距雖小，但排行榜已經改變。
在 Google 發布的 14 項核心基準測試中，Gemini 1.5 Pro 在其中 12 項測試中名列第一。如果我們把社區測試也考慮進去，並將範圍擴大到 17 個項目，它就佔據了前 15 個位置。在社群盲測中，Gemini 1.5 Pro 在文字排行榜上獲得了 1528 分，位列全球第一，而 Anthropic 的型號排名第二。
那麼，它的優勢究竟在哪裡呢？我們可以大致將其分為三個部分。
第一部分是網路安全，這是本次活動重點推廣的內容；Google 提供了一套完整的流程：首先發現漏洞，然後驗證漏洞是否可以被利用，最後修復漏洞。這三個步驟中的每一個都有公開的基準；在尋找漏洞方面，CyberBench 使用了 183 個真實的高風險漏洞任務，其中 Gemini 1.5 Pro 達到了 88.2%，GPT-4o 達到了 85.4%。驗證步驟使用了漏洞程序，其中 Gemini 1.5 Pro 達到了 54.8%。排名第二的 Astro 型號的受歡迎程度為 42.4%，落後第一名十幾個百分點。CWE 的基準測試涵蓋六種程式語言、73 個漏洞類別和 120 個真實世界的漏洞任務，Claude 的得分為 71%。如果允許重考，通過率可達 81%。
還有兩個來自真實場景的數據：在谷歌的內部基準測試中，Claude 生成安全代碼的成功率提高了一倍多；該團隊報告稱，在高質量補丁生成方面，Claude 比另一個頂級實驗室之前的模型好十倍以上。雲端安全公司 Wiz 也觀察到，該公司在外部滲透測試基準測試中處於領先地位。請注意，這些數據來自 Google 或其合作夥伴，而非獨立的第三方，因此請謹慎對待。
第二個領域是長時間任務，即持續工作的能力。谷歌表示，內部團隊曾看到 Claude 連續運行數天，在大型程式碼庫和底層系統中執行多步驟工程任務，例如查找和修復深藏的錯誤，甚至從死胡同中退出以繼續工作。其基礎是其 100 萬個代幣的上下文視窗。在第三方評估數據中，有一項名為「大海撈針」的超長上下文測試；在 256K 到 100 萬代幣的範圍內，Claude 得分 96.2%，而 GPT-4 得分 71.8%，Opus 3.5 得分 66.8%，領先第二名 20 多個百分點。在基於終端的程式設計基準測試中，Claude 3.5 Sonnet 得分 65.2%，Opus 3.5 得分 59.6%，Astro 得分 59.1%。
第三部分是對現實的檢驗，因為它並非在每個項目中都是最重要的。LMSYS Chatbot Arena 排行榜採用 Elo 評分系統，Claude 獲得 89 分，達到 1768 分，在全球排名第四；在 FrontierBench 的軟體工程測試中，Claude 的得分為 61.2%，而 GPT-4o 的得分為 65.5%，超過了 Claude。在 OSWorld 計算機操作中，Claude 的得分為 81.5%，而 3.5 的得分為 87.2%；此外，在實際的編碼代理基準測試中，Claude 與 Google 自己的工具結合得了 59 分，而 Opus 3.5 與 CloudCode 結合得了 62 分。
換句話說，模型本身非常強大，但 Anthropic/Google 的模型加工具組合仍然領先；在知識工作方面也存在差距，因為 Claude 在知識任務上的表現仍然落後於 GPT-4o 和 Gemini 1.5 Pro，所以說它總體上是第一，但在某些特定領域被超越，未能取得完全的統治地位是準確的。
可靠性指標的實質變化
接下來是官方版本中最重要的一部分：這次真正的變化不是分數，而是可靠性。谷歌提供了一組比對資料。
首先是作弊：在 TerminalBCH 4.0 中，CBO 的作弊成功率降至 0%，嘗試走捷徑的次數僅為 0.4%，整體準確率實際上有所提高。
其次，誠實性：在內部測試中，未經證實的斷言比上一版本減少了一半。現在，它將在交付成果中明確寫明其方法論的局限性，而不是編造一些東西來欺騙你。
第三，遵循規則：在多步驟任務中，未經授權的操作減少了 26%，敷衍或跳過的步驟減少了 29%。
第四，注入防禦：在間接提示注入基準測試 GreenSW 中，攻擊成功率已經降至 0.7%，而 CBON 則達到了 0%，阻止了所有 15 次攻擊。在 Google 的內部測試中，高嚴重性對齊警報的數量下降了近 80%。
在知識可靠性測驗 Ani 中，CBO 的正確答案率從 48% 上升到 58%，但幻覺率（即在沒有知識的情況下編造的答案比例）從 4% 上升到 11%。我們可以透過以下方式理解這種變化：之前的版本是一位極其謹慎的學生；如果它不確定，就不會回答，所以它很少編造答案，但會跳過很多問題。CBO 敢於給出答案，雖然它給出的答案越來越準確，但代價是它猜測的絕對值也上升了。
然而，從橫斷面比較來看，11% 的幻覺率在整個行業中仍然被認為是非常低的，而 OPOS 5.5 Max 和 GPT 6R A-Max 在這一領域的幻覺率約為 50%。是謹慎但平庸好，還是大膽但可靠好？這是兩種截然不同的產品個性，沒有標準答案，但谷歌最新一代產品顯然選擇了後者。
上市策略與訪問限制
接下來是第三個問題：為什麼你現在不能使用這麼強大的模型？
因為這次的上市策略與以往不同；CBO 不會立即完全發布。谷歌正在與美國政府合作，參與一項自願的預發布模型測試流程。從本週開始，該服務僅對一小部分網路安全防禦人員開放，之後將透過名為「Find」的可信任合作夥伴計畫逐步擴大範圍。普通開發者、企業和消費者用戶則排在最後，目前尚未給出具體時間表。
官方解釋是先收集專業用戶的回饋，完善安全措施，然後儘快將其推向生產環境。那麼，為什麼要優先考慮網路安全領域作為此次初期推廣的重點呢？官方的邏輯是，能夠發現、驗證和修復漏洞的模型本身就是一把雙面刃。在防禦者手中，它可以掃描並修補整個企業的攻擊面；如果落入攻擊者手中，同樣的能力也可能被用於相反的目的。
因此，Google 選擇先將這項功能提供給守門人，但這一策略在社區中引發了極大的不滿——在排行榜上引起了巨大轟動，但普通用戶卻發現他們實際上無法使用它。許多網友認為，這種發布極為難用工具的策略越來越像是一種行銷手段。因此，即使該模型功能強大，但就目前而言，普通用戶還無法使用。
商業定價與財務表現
最後，讓我們來看看商業方面，因為 Google 的財報和模型發布是在同一天進行的。
我們先來看這款車型的定價。Gemini 1.5 Pro 繼續……極具競爭力的促銷價格：每百萬個輸入代幣 2 美元，每個輸出代幣 10 美元。對輸入內容的快取命中給予 95% 的折扣，實際價格為 0.10 美元。標準價格為輸入 4 美元，輸出 20 美元，與 GPT-4o 相同。
但單價並不是重點；任務成本為：根據媒體估計，對 GPT-4o 進行一輪智能指數評估平均消耗 173,000 個輸出令牌，而 Gemini 1.5 Pro 僅需 123,000 個——減少了 29%。一個直觀的解釋是，它內容物更精簡，重複性更低。平均而言，Gemini 的每項任務成本為 7.76 美元，比 GPT-4o 的 10.04 美元便宜約 23%。但是，我們必須注意到 GPT-4o 的每項任務成本為 6.24 美元，甚至更低。
從整體市場來看，Google 第三季營收為 1,275.77 億美元，較去年同期成長約 25%，連續 13 季實現兩位數成長。其中表現最為突出的是谷歌雲，營收達到 307.09 億美元，年增 103%——翻了一番。雲端業務營業利潤率從 23.7% 上升至 36.2%。
積壓的工作量龐大；官方數據顯示，該項投資超過 550 億美元，預計在未來 24 個月內轉化為收入。在財報電話會議上，需求面訊號也非常強勁：模型 API 每分鐘處理近 320 億個代幣，比一年前增加了四倍多。企業用戶已達 10 億，財富 100 強企業中近 90% 都在使用企業版。
基礎搜尋業務也沒有讓人失望，搜尋和其他收入達到 633.5 億美元，比去年同期成長 12%。搜尋查詢的年增長率是近五年來最高的，與 AI 概覽整合的查詢的平均長度約為傳統搜尋的三倍。
另一個經常被忽視的變化是，Google 的 TPU 不再僅僅用於他們自己的雲，而是已經轉移到客戶自己的資料中心和其他供應商，並與 Oracle 和 CoreWeave 建立了交付合作夥伴關係，使晶片成為直接的收入來源。
在同一產業，還有另一組數據：第三季資本支出達到 513.55 億美元，較去年同期成長約 14%。全年業績預期仍維持在 1,950 億美元至 2,050 億美元之間，管理階層暗示 2027 年業績將大幅成長。由此可見，現金消耗的程度已經是多麼驚人。谷歌目前的自由現金流為負 90.65 億美元，淨利為 264.68 億美元，年減約 24%。市場的反應是誠實的；財報發布當天盤後交易中，股價下跌近 10%。
這就是 Google——或者更確切地說，這就是整個人工智慧產業目前的現狀：收入和訂單都在翻倍成長，但現金消耗速度翻倍的速度更快。模型每兩週迭代一次，每次迭代都需要底層基礎設施的支援。社群中有一種理論認為，Google 可能已經找到了通用人工智慧的關鍵，即利用人工智慧來輔助訓練和優化下一代人工智慧，從而實現自我加速。雖然官方尚未證實這一猜測，但兩週一次的更新週期本身確實表明研發過程中的某些環節正在加速。
好的，讓我們來總結一下：Gemini 在整體排行榜上排名第一，在網路安全方面排名第一，長上下文任務能力已跨越閾值進入多天範圍，可靠性指標顯著提高，任務成本比 GPT-4o 低 20% 以上。它的缺點也很明顯：在多項基準測試中，它已被競爭對手超越，尤其是在編碼智慧方面。整體綜合得分落後於 Claude 3.5 Sonnet 套件，而且，大多數人仍然無法訪問它。
然而，當一個模型的發布節奏快到每兩週一次時，這意味著排行榜第一名的保質期可能只有兩週——那麼還會有人在乎嗎？