美研芒格君 · 2026-09-04 · 帖子

硅谷一线公司，Anthropic $NVDA OpenAI 这类 Frontier Lab/厂 的推理工程师，平时到底在做什么？ 结合我的实际工作内容，和对周围其他公司 AI 工程师的了解，帮大家整理出来了最一线的工作 5 项技术拆解，自己评估一下是否能通过面试？完全搞懂，你也半只脚踏入了硅谷大厂，多收藏看看会有帮助 （防杠，本帖为简化，实际工作比本帖复杂得多） 一句话总结： 所有技术都围绕着把一次用户请求，变成一条高并发、低延迟、可恢复、可观测、还能持续学习的生产流水线 1. 先让更多请求挤进同一批 GPU 推理引擎负责在显卡上运行模型。下一步是如何调度不同请求。用户实际感受到的速度和价格，很大程度上取决于这一层 Continuous batching：某个请求生成结束，新的请求立即补位，不用等整批完成。 Prefix caching：相同的系统提示、长文档和对话前缀，不必反复计算。 Chunked prefill：长上下文分段处理，避免一个超长请求堵住其他用户。 Model routing：简单任务交给更快、更便宜的模型；复杂任务再升级到更强模型 2. 验证模型，控制模型 模型可能调用工具、运行代码、访问文件或操作外部系统，因此每次执行都要被限制在明确边界内： 隔离运行环境 限制处理器、内存、时间和网络权限 检查工具调用是否合法 根据真实执行结果判断任务是否成功 3. 处理几百万个同时发生的请求，高并发 生产系统还要面对排队、突发流量、硬件故障和外部服务超时： 任务队列决定请求如何等待 优先级保证高价值或实时任务先执行 Backpressure 防止流量把系统直接压垮 Idempotent retry 允许安全重试，又不会重复扣费或重复操作 Checkpoint 让长任务在故障后继续，而不是从头开始 OpenTelemetry 记录请求究竟慢在排队、模型生成、工具调用还是结果验证 4. 把用户真实使用过程重新变成训练数据 推理系统不只是消耗模型，也在生产下一代模型的数据： SFT：把经过验证的高质量回答变成示范 LoRA：用较低成本训练特定能力 RL：让模型尝试多种策略，再根据真实结果学习 GRPO等：同一道任务生成多份答案，相互比较后提高优秀策略的概率 Reward hacking：模型学会钻评测漏洞，而不是完成真实目标 Data leakage：模型提前看过测试内容，导致指标虚高 训练数据、评测集、工具环境和时间窗口，都必须严格隔离 5. 新模型不是训练完就直接上线 真正的发布流程通常更像大型在线服务，而不是发一个 checkpoint： Shadow test：新版模型偷偷处理一部分真实请求，但不把结果交给用户 Release gate：正确率、延迟、成本和安全指标同时达标才允许发布 Canary rollout：先给极少量流量，再逐步扩大 Rollback：任何关键指标恶化，立即切回旧版本 Version tracking：模型、提示词、工具、数据和评测器全部记录版本 模型决定能力上限，推理工程决定这些能力能不能真正到达用户手里