--- layout: post.njk source: https://yage.ai/share/local-llm-two-markets-20260826.html speaker: yage.ai title: 本地 LLM 这个词，把两个市场混装成了一个 date: '2026-08-26' summary: 文章探讨了本地LLM的讨论实际上是将两种截然不同的市场混装在一起。通过分析模型权重获取方式和计费结构，将推理场景划分为四个格子，包括开放权重加按时间计费（自托管与订阅）、开放权重加按 token 计费、闭源加按时间计费（如AWS Bedrock）以及闭源加按 token 计费。核心观点是本地部署的价值在于对模型运行行为的控制（控制市场），而云端API的价值在于成本敏感的调用（成本市场），两者是相互补充的，最终选型取决于用户对数据敏感度和行为确定性的需求。 area: PAI category: ai-tooling tags: - local-llm - open-weight - cost-market - control-market - inference-pricing people: [] companies_orgs: [] products_models: - Qwen3.8-27B - OpenRouter - OpenAI - Anthropic - Ollama Cloud - z.ai media_books: [] draft: true status: evergreen --- 过去两个月里，圈子里很常见的说法是本地 LLM 要回来了。理由听起来充分：Qwen3.8-27B 这样的开放权重模型已经能稳妥跑在消费级显卡上，agent 的大量长尾任务不再只是前沿闭源模型的专属领地。如果翻看真实的调用数据，开放权重模型的增长势头确实非常强劲。在 OpenRouter 上，中国开放权重模型每周的调用量达 40.48 万亿 token，美国模型是 9.66 万亿，调用量排名前五里有 4 席是中国模型（这是 2026 年 8 月 17 到 23 日的数据）。开放权重模型的 API 中位混合价比专有模型低 82%，每百万 token 只要 0.53 美元，而专有模型要 3.00 美元（BenchLM，8 月 21 日）。 但这组数据背后有一个容易忽略的前提：OpenRouter 是一个远程 API 聚合平台，上面的调用全部运行在模型服务商的云端硬件上。这组数据说明的是开放权重模型在远程调用上赢了，不是本地部署赢了。开放权重不等于本地，这种混装本身就是这篇文章要厘清的核心。 如果本地是大势所趋，为什么最大规模的流量反而全部跑在别人的硬件上？答案在于，大家平时随口说的本地 LLM，实际上把两个完全不同的市场混装在了一起。我们把它们分开来看：一个市场不用买硬件，另一个市场买的则是 25 到 33 年回不了本的硬件。两者的驱动不同，证据不同，证伪条件也不同。 ## 推理的四个格子 要理清这件事情，我们可以把平时讨论的推理采购区分成两个独立的维度。第一个维度是模型权重能不能拿到：拿得到就是开放权重，拿不到就是闭源；第二个维度是计费结构：是按时间计费，还是按 token 计费。把这两个维度交叉起来，就形成了四个不同的推理场景，也就是四个格子。 第一个格子是开放权重加按时间计费。这一格里其实装着两种东西。一种是我放在家里 24×7 跑着的那台服务器：两张 RTX 5090 显卡承载 Qwen3.8-27B 模型，权重完完整整存放在本地介质里，日常跑的是本地磁盘上的一个文件，SHA-256 哈希值随时可以验证（我们在 8 月 24 日那篇 2×5090 实测 里记录了详细的跑机数据），开销就是家里的电费加前期硬件折旧。另一种是 Ollama Cloud、z.ai 这类订阅服务：Ollama Cloud 按月订阅，Pro 档 20 美元每月、Max 档 100 美元每月，后台按 GPU 实际占用时间计费，不按 token 扣费。它们都拿得到开放权重，也都按时间而不是按 token 收费，所以落在同一格。 第二个格子是开放权重加按 token 计费。OpenRouter 是典型：调用一次，按实际消耗的 token 扣钱，用多少付多少。权重是开放的，计费跟着 token 走。 第三个格子是闭源加按时间计费，AWS Bedrock 的 provisioned throughput 落在这一格：它不按每次调用的 token 付费，而是按小时买一种叫 Model Unit 的固定容量单元，闲置也照扣，分无承诺、1 个月、6 个月三档承诺。以闭源模型为例，AWS 官方定价页给出的 Claude Instant 单 Model Unit 是 39.60 美元每小时。权重拿不到，但计费按时间走，所以它在这一格。第四个格子就是剩下的闭源加按 token 计费，也就是大家最熟悉的 OpenAI、Anthropic 官方 API：按每次调用的 token 数量付费，权重拿不到，计费跟着 token 走。 推理的四个格子：开放权重按时间计费这一格里同时装着自托管和订阅，控制市场与成本市场是两个不同的格子 把这四个格子理清之后，能得出两个判断。其一，按时间计费不等于自托管。Bedrock provisioned 按小时计费，但权重是闭源的、运行行为 pin 不住；Ollama Cloud 也按时间计费，但推理跑在服务商的云端。时间计费只是控制的一个必要条件，不是充分条件，要真正拿到控制，还得叠加开放权重加自己手边的容量。其二，大家口中热议的本地 LLM，往往只指代第一格里自托管那一角，但开放权重这个能力轴其实横跨了第一格和第二格：Ollama Cloud、z.ai、OpenRouter 都是开放权重，只是计费方式不同。 开放权重与自托管本身也是两个相互独立的维度。开放权重代表的是能力轴：开源模型的质量跨过了实际可用的门槛，但它的主要消费渠道依然是远程调用；自托管代表的则是控制轴：核心在于退出服务商的推理控制层。两轴相交的地方构成了本地自建，但每一轴都可以独立存在。 ## 成本市场与控制市场 把这两个维度分开之后，我们能看清两个截然不同的市场：成本市场落在开放权重这一侧的远程部分（Ollama Cloud、z.ai、OpenRouter 都在内），控制市场落在第一格里自托管那一角。先算成本市场的账。在 4 月 28 日那篇开源模型推理采购指南 里，我们详细测算过重度 agent 场景的实际负载：每月大约需要处理 8.35 亿 token（包含 7.5 亿输入 token 和 8500 万输出 token，输入与输出的比例约为 9:1）。这个量级的数据是通过 ccusage 工具对 Claude Code 200 美元 Max 档重度用户进行实际追踪反推出来的：这些用户的月度消耗折算成 Sonnet 4.6 的官方 API 价格，大约在 2000 到 3000 美元之间（这里假定 75% 的输入命中了 prompt cache 缓存）。面对同样体量的负载，如果走纯 API 按量计费，月度账单会落在 400 美元（DeepSeek V4 Pro 折扣价）到 1601 美元（DeepSeek 官方原价）之间。然而，如果选择云端订阅制的开放模型服务，比如 z.ai Coding Plan Max 只要 80 美元每月，Ollama Cloud Max 只要 100 美元每月，实测完全撑得住这个用量。两者的价差在 5 到 20 倍之间，而且用户完全不用买任何硬件。 这个成本市场目前还在持续打价格战。根据 BenchLM 的统计，过去 12 个月里中端模型的 API 价格下降了 35.8%。云端 API 单价每往下走一次，开放权重便宜这个支撑自建硬件的理由就弱一分。 成本市场买的是 5 到 20 倍的价差，控制市场买的是 25 到 33 年的确定性，两者驱动不同 与此相对的控制市场，平时在公开讨论中几乎看不到真实的运行数据。最接近的实测样本就是我自己家里常驻的那台 2×5090 服务器。这台机器 24×7 全天候开机，一天平均处理约 2.24 亿 prefill token，其中 1.82 亿命中前缀缓存，新生成约 225 万 decode token。整台机器一天真正在高负荷出 token 的累计时间大约只有 3.8 小时。按照美国能源信息署（EIA）民用电价 0.1844 美元每度计算，整机满载功耗约 500W，跑满一个月的电费大约是 11 美元。 如果我们把自建硬件拿来与云端订阅做纯成本对标：相比 200 美元每月的订阅，自建节点一个月只能省下大约 20 美元。但如果摊销前期投入的 6000 到 8000 美元整机硬件成本，静态回本期长达 25 到 33 年。我在原文章里写道：纯靠省钱是完全回不了本的，自托管的理由不在省钱。 那么花这笔钱买的到底是什么？实测文章里总结了五项核心价值：数据全程留在本地物理介质上的合规与隐私；模型运行行为能精确 pin 住（你知道机器里跑的究竟是磁盘上的哪一个具体文件）；全量微调与 LoRA 权重的动态热插拔；断网脱机时的确定性；以及一套完全由自己掌控的推理软件栈。其中行为可 pin 住这一项尤为关键：在云端 API 侧，你付钱买到的表面上是一个版本号，实际拿到的却是这个版本号加上服务商服务端实验的混合物。 我们在 7 月 29 日那篇回本算账 里还给出了另一个发现：自托管并没有固定的物理回本周期，你的硬件多久能回本，完全取决于你替代的是云端的哪一种计费模式。如果对标冷缓存 API 口径，用一台 8×H200 节点跑 GLM-5.2 的回本期是 1.15 年；如果对标 92% 缓存命中的典型 agent 负载口径，回本期会缩短到 2.3 到 2.9 个月；但如果对标同等容量的云端订阅席位口径（29 个席位），回本期又拉长到 21.8 到 27.3 年。三个口径对应同量级的八卡节点，回本期却差出两个数量级，主导变量是你替代的云端计费模式。 因此，四个格子之间是相互补充的，彼此并不排斥。即便是放在我家里那台 2×5090 服务器，它在复杂任务中调用的上游模型也是 GLM 5.2，走的正是 Ollama Cloud 托管，是远程而非本地。自托管用户的真实工作流同样是混合栈，格子之间是分工协同，不是二选一。 如果你正在算自托管这笔账，首先要搞清楚你替代的是哪种计费模式。替代订阅，算出来的回本期是几十年；替代高缓存比重的 agent API 调用，回本期往往只要几个月。 ## 为什么是现在 四格框架为什么直到 2025 年下半年到 2026 年才真正具备讨论的前提？因为在那之前，四个格子实际上塌成了单一的选择。 在 2024 年，agentic 模型在复杂的长上下文和多步任务中并不可靠。在那个阶段，开放权重这一侧撑不起 agent 的长尾任务，无论自托管还是远程调用，模型质量都过不了可靠性的门槛。对于多数实际构建者来说，几乎唯一的选择就是闭源模型加按 token 计费的官方 API，也就是第四个格子。 但在过去 12 到 18 个月里，技术生态有三条主线同时跨过了临界点。首先是模型线：27 到 30B 的 agentic 开放权重模型成功进入了 24 到 32GB 的消费级硬件显存范围，采用 Apache 2.0 协议的 Muse Glimmer 30B 只要 24GB 显存即可运行，这是 Meta 官方给出的明确定位，而 Qwen3.8-27B 在我们的 2×5090 机器上实测，8 路并发压力下单流依然能够保持 141 tok/s 的吞吐。其次是硬件线：RTX 5090 凭借 1792 GB/s 带宽、32GB 显存以及约 2000 美元的官方指导价，成为运行 27B 模型的最优选择；Apple M5 Ultra 提供 512GB 统一内存和 1.2TB/s 带宽，苹果官方的定位原话是 always-on agentic computing，全天候常驻的 agent 计算。第三是负载线：agent 从 demo 阶段大步进入生产环境，Anthropic 的年化收入从 2025 年底约 90 亿美元快速增长，到 2026 年 7 月已经超过 650 亿美元。 这三条线全部跨过门槛之后，模型层的技术护城河开始溶解。当开放权重模型的质量越过了 agent 实际可用的可靠性阈值，究竟用哪家的模型就不再是用户必须留在某家云端服务商那里的理由。服务商为了建立壁垒，只能把产品差异化迁移到推理层，集中体现为计费模式的设计、调用限额的分配、运行行为的管控以及用户留存策略。理解了这一点，才能看懂随后的动作：2026 年 7 到 8 月各大平台频繁出现的限额调整、A/B 实验和输出水印，本质上都是服务商在推理层施加控制的手段。 ## 推理层的收拢 在 2026 年 7 到 8 月这个集中的时间窗口里，有四起典型事件连在一起发生，而且全都在推理层。第一起事件是模型行为无法在云端精确锁定。8 月 22 日，开发者 argofowl 从 API 日志中发现，Claude Code 从 2.1.237 版本起，把原本配置的 “high” 档位静默重映射成了 “low” 档位的值，而官方的更新日志对此只字未提（社区讨论串）。背后的运行机制是服务商在服务端进行的 A/B 灰度实验，随后 Anthropic 工程师 Thariq Shihipar 在公开交流中确认了实验的存在。这起事件引发争议的核心不在于性能微调，而在于程序契约的确定性：用户在客户端付费明确选了 “high”，实际拿到的却是实验组分配到的参数。在云端 API 侧，你付钱买到的表面上是一个版本号，实际拿到的往往是这个版本号加上服务商服务端实验的混合物。而在本地自建节点上，这一层风险完全不存在：你 pin 住的是本地磁盘上的一个具体文件，SHA-256 哈希值随时可以验证。 2026 年 7 到 8 月，推理层集中发生四起收拢事件，错配客观存在但方向未定 第二起事件是准入权限的不稳定。Claude Code 的 +50% 周用量加成自 5 月起经历了至少四次延期（先后从 7 月 18 日延到 8 月 19 日，再延到 8 月 31 日），而且每次都是在临近到期前夕才宣布（延期时间线）。@ClaudeDevs 官方账号的原话是 “We hope to make this a permanent change to our plans, but strong demand for our models means that capacity may be tight over the coming weeks”（希望把这变成计划的永久变更，但模型需求强劲，未来几周容量可能紧张）。如果基线准入是平稳可靠的，+50% 就不会是一个需要反复延期的促销动作。这种不稳定性的方向完全由服务商自身的容量压力决定，无法顺应用户的实际规划需求。 第三起事件是对输出内容的管控。8 月 2 日，Claude 正式启用了基于 SynthID-Text 的文本水印（官方公告），覆盖范围包括官方 API、Claude Code 和全部云市场分发渠道。但在官方宣布后仅仅 4 小时，开源社区就放出了针对该水印的 override 绕过工具（Wired 报道），GitHub 项目在短时间内聚集了 100 多个 contributors。这项控制既不必要也难以长期维系，但它暴露出来的方向是：服务商试图控制输出内容的归属。 第四起事件是服务商自身产品形态对利益错配的自证。Anthropic 推出了面向企业用户的 Claude Code self-hosted environments 公开测试版（报道），面向 Team 和 Enterprise 档：工作会话可以跑在客户自己的基础设施上，但官方明确规定 “Model inference stays with Anthropic”，请求不可路由到 AWS Bedrock、Google Agent Platform、Microsoft Foundry 或任何第三方的 LLM gateway。如果这种错配能靠普通产品特性解决，服务商早就开放了。他们没有这么做，而且在商业机制上不能退让：任务框架 harness 跑在你的网络上，用来提供掌控感；核心推理 inference 必须留在他们那边，因为推理是持续产生收入的业务，不能给。Anthropic 把自托管重新定义成了你的 harness 加我的 inference。 当然，在观察这些收拢动作的同时，我们也必须客观划定现实的诚实边界。在同一个时间窗口里，服务商同样在做出大幅让利（定价对比）：8 月 11 日，Anthropic 把 Sonnet 5 的降价设为了永久价格，并直接取消了原定 9 月的涨价计划；7 月 30 日，OpenAI 也把 GPT-5.6 Luna 降了 80%，降到每百万 token 输入 0.20 美元、输出 1.20 美元。因此，我们不能声明错配在扩大。目前唯一能确立的声明是：错配客观存在，但方向未定。这是一场多方博弈的动态赛跑，而不是已经尘埃落定的既成事实。 如果你正在生产负载上高度依赖云端 API 表现出来的具体行为，建议锁定模型版本，并且监控行为指纹。因为在云端依赖的代价，就是某天你不知道自己拿到的究竟是哪个版本。 ## 你在哪个格子买 回到具体的选型问题上。当开发者从原先闭源模型 × 按 token 计费的格子中分流出来时，会自然按照自身的敏感度去往不同的方向。 成本敏感的用户去开放权重这一侧的远程部分：选订阅（Ollama Cloud、z.ai）每月 80 到 100 美元，比按 token 计费的纯 API 便宜 5 到 20 倍；或按 token 计费的 OpenRouter，按实际用量付费。控制敏感的用户去第一格里自托管那一角：开放权重加自托管，承担每月 11 美元的电费，接受 25 到 33 年的硬件回本期，买的是确定的掌控感。两者的驱动不同，证据不同，证伪条件也不同。 我朋友的班级里 100 个人只有 4 个人能在本地跑起 Qwen3.8-27B，常有人拿这个数字证明专业开发者买不起硬件，但这完全是个循环假设。样本全是非技术学生，大家本来就不会为了工作去买显卡，就像拿不吃米饭的人去证明米价太贵，结果完全是样本自带的。这个数字真正的价值是门槛标定：本地运行 27B 模型的入口已经降到了 1300 到 1800 美元的二手整机，或者花费 6000 到 8000 美元配置一套像我正在用的双 5090 系统。控制市场不需要在第一天覆盖全部 100 个人，就像 Kubernetes 在 2015 年也曾是少数极客的玩具，基础设施总是先在高激励人群里成为默认选择（这是类比，不是数据）。 目前的 27 到 30B 开放权重模型足够胜任有人在旁监督的工作层，比如结对编程这类覆盖了约 80% 日常 agent 负载的流程，但完全无人值守的前沿复杂任务层，最顶尖的能力依然留在云端 API。这种分界的根源在于小模型的短板主要在知识结构。推理和工具使用等方法类能力可以通过架构和蒸馏压缩到较少参数里，但长尾冷门知识更接近存储问题，依然强烈依赖参数规模。李博杰的 IKP 论文用 1400 道冷门事实题做探针，发现事实容量与参数量呈 log-linear 关系，小模型在推理题上的追赶不能外推到长尾事实，我们在 4 月 29 日那篇知识容量论文导读 里把这件事讲透了。在有人监督时人类能随时替模型兜底知识断点，但在无人值守场景下参数池差距就会暴露，因此控制市场的声明范围是 agent 的长尾任务，不是前沿推理。 真正的开放性问题是一场赛跑：服务商收拢推理层的速度，对云端解决控制维度的速度。如果服务商持续收拢推理层，控制市场就会进一步扩大；反之，如果远程端有效解决了控制维度（比如服务商给出契约级的行为锁定、承诺零后台 A/B 实验、以及可审计的零数据留存），自托管的独特价值就会随之减退。 如今，推理层已经变成一个开发者可以单独选购的层级。选型问题不再是笼统的本地对云端，而是你在哪个格子买、为什么买。你的负载使用率、数据敏感度、以及对行为确定性的要求，决定了你最终落在哪个格子里。如果你暂时答不出这三个问题，先测试一下自己的真实用量：把现有的服务稳定跑上 7 到 14 天，看清楚监控指标，再决定去哪一个格子里买。