--- author: AI Engineer date: '2026-09-26' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=XyV6bSMyq-I speaker: AI Engineer tags: - self-improving-agents - agent-evaluation - offline-benchmarking - observability title: 构建自增强智能体：Weights & Biases的评测驱动与闭环演进实践 summary: Weights & Biases 工程师 Zubin Aysola 深度分享了自增强智能体 Arya 的研发体系。通过统一研发与生产环境、构建无约束沙箱与 DAG 配置流，W&B 利用 Weave 实现了生产 Trace 回流离线评测与爬山算法自动优化，探索出从编写代码转向构建系统护栏的新范式。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: [] companies_orgs: - Weights & Biases products_models: - Weave - Arya media_books: [] status: evergreen --- ### 弥合仿真与现实：智能体评测的核心挑战 在构建现代**AI智能体**（AI Agent: 能够自主感知环境、进行决策并调用工具执行复杂任务的人工智能系统）时，整个行业正面临着从传统的软件工程向动态系统工程的范式转移。许多开发者倾向于在本地或代码编辑器中快速封装工具与技能包，然而一旦智能体脱离玩具阶段进入实际生产，如何衡量其有效性便成了最大的系统性瓶颈。正如**强化学习**（Reinforcement Learning: 通过与环境交互并根据奖励信号优化策略的机器学习范式）长期面临的**仿真与现实差距**（Simulation-to-Reality Gap: 模型在模拟环境中表现优异但在真实物理或生产环境中发生性能衰退的现象）一样，智能体在离线测试基准与生产环境之间也存在巨大的协变量漂移。 为了解决这一难题，**Weights & Biases**（简称 W&B，领先的机器学习与大模型开发运维平台）推出了新一代自主智能体 **Arya**。面对复杂的工具调用和多步推理，传统的静态单元测试已经彻底失效；系统需要的是一整套能够在动态演化中自我度量、自我校准的原则性评测框架。智能体的评测必须具备双重视角：既要在生产链路中精确捕获每一次推理与工具调用的执行轨迹，又要在离线仿真环境中高保真地复现这些行为。只有建立起这种全链路**可观测性**（Observability: 通过系统外部输出推断其内部运行状态与行为链路的能力），才能让智能体不再依赖盲目的经验试错，而是进入由数据和度量驱动的科学演进轨道。
Original English 良い 。 ご 挨拶 申し上げ ます 。 ありがとう 、 誰 が 来 た の か 。 自分 私 の 名前 は ズバイダ ・ アル - 塩 。 私 は ウェイト ＆ で 働い て い ます 偏見 。 エージェント を 作成 し て い ます 。 アーヤ 、 私たち が リリース し まし た 一般 に 公開 さ れ て いる 月曜 日 。 多 分 、 ティム の パフォーマンス を 見 まし た か ？ 私 の 同僚 の 一 人 Weights&Biases では 、 私 は 自宅 で 仕事 を し て い ます 。 昨日 、 ステージ で 。 だ から 私 は ちょっと 出かけ ます 。 詳しく 見 て いく 私たち は 評価 し 、 私たち は アーヤ の エージェント を 作成 する 。 特に 、 評価 フレーム ワーク 私たち が 私たち が どの よう に 使用 する か 、 そして どの よう に 私たち は アーヤ を 使用 し て い ます 自己 強化 の ため に 実施 サイクル 研究 。 そして いくつか 話し ましょ う 重量 に 関連 する もの & 偏見 。 はい 、 そうです 。 それ スライド から の 抜粋 、 私 が 発表 し た NeurIPS です が 、 興味 深い こと が いくつか あり ます 。 例えば 、 エージェント システム 。 私 ほとんど の 人 が 観客 や この 会議 で 喜ん で 作成 し ます エージェント システム または 、 多分 、 使用 クラウド コード で さまざま な スキル パッケージ 。 でも 、 非常 に 重要 違い 包装 方法 これら の AI エージェント は 、 もし それら を 使用 する さまざま な 課題 を 抱え て ツール など 様々 な テスト 。 したがっ て 、 これ に 触発 さ れ て 、 私たち は Weights&Biases で 働い て い ます 創造 を 超え て 自分 の セット エージェント 実行する あなた の ため に 調査 し ます 重み と バイアス に関する プラットフォーム 。 エム ほら 、 それ から 、 他 に も いる かもしれない 私 が 嫌い な もの 必要 人 々 を 説得 する ため に 、 例えば 、 なぜ 私 たち は 必要 な ソフトウェア エージェント と その 理由 ソフトウェア パッケージ 、 および ただ 許可 する だけでなく 、 LM の 仕事 って 知っ てる よね 自由 に 、 そして 原因 道具 か 何 か 他 の 。 えっ と 、 これ は これ 。 ええ と 、 でも そういう こと も あり ます 大きな 問題 が 一 つ あり ます 。 つまり 、 本質 的 に は 私 が 毎日 考え て いる こと 、 就寝 時 、 具体 的 に ： テスト 、 評価 、 エージェント と その 使い方 あなた が 設定 し て いる もの には 共 変 。 したがっ て 試し て み ます 適用 する 原則 に 基づい た あらゆる 評価 どの システム 、 どの 動的 に 変化 する 良い もの が 必要 です 測定 システム が どの よう に 機能 する か を 確認 し て ください 実際 に 効果 が ある 。 そして 本当に 欲しい です か ？ システム が どの よう に 機能 する か を 確認 し て ください あなた の 作品 と 同じ よう な 作品 生産 環境 だけでなく 、 オフライン 環境 。 が ある - えー と 、 もし あなた が RL ピル はずっと 昔 、 あなた は 考える こと が できる ギャップ シミュレーション と 現実 、 つまり 、 どの よう に 私たち は 変革 し ます シミュレーション 環境 実際 の 環境 において など 。 ええ と 、 2 つ の こと が あり ます 。 それ について は これ から お話し し ます 。 そして 私 は 人生 を 過ごす 実証 、 すなわち Weave エージェント の ため の Weave 少なくとも 私 の 意見 で は 意見 として は 、 最高 です プラットフォーム 観察 として は 生産 、 そして オフライン 用 エージェント 追跡 。 だ から 私 は 主に オフライン パーティー 私 は 環境 を 創造 し ます シミュレーション を 実行 する 彼ら の 上 に エージェント の アリア が それ から 私 は 彼ら を 追跡 し ます ウィーブ と 私 の チーム 全員 これ も 同じ です 。 だ から 私 は 私 たち の すべて を 見る こと が でき ます 生産 性 オフライン 指標 。 そして 私 の もう 半分 チーム は 生産 側 で は 、 エージェント を デプロイ する 、 同じ もの を 登録 する 同じ 形式 の もの 、 コピー できる よう に これら の 生産 私 たち の トレース 環境 、 そして 彼ら と 協力 する か 、 訂正 エラー 。 えっ と 、 そして これ かなり 良い フライホイール 。 そして もちろん 、 私 が 話し て いる もう 一 つ の こと は ここ で 話し たい の です が 、 こちら は ウェイト 社 の エージェント 、 アリア 本人 です 。 偏見 、 私たち は 自己 創造 、 なぜなら 彼 は かなり 複雑 です 。 独立 し て 登攀 を 行う 丘陵 地帯 オフライン モード 。 だ から 、 私 は 先 に 進み ます
### 双轮驱动闭环：生产追踪与离线沙箱共生 要让智能体真正具备自我迭代能力，关键在于打通离线仿真与线上生产之间的数据循环，形成持续自我强化的系统飞轮。在 Weights & Biases 内部，团队通过旗下的大模型与智能体可观测平台 **Weave**（Weave: 专注于追踪、评测与优化生成式 AI 及 Agent 运行链路的轻量级框架）构筑了这套闭环机制。团队的工作被精巧地划分为两个对称的半区：一部分团队成员深耕生产侧，负责将智能体部署至真实工作流并无缝记录所有运行调用；另一部分成员则专注于离线端，搭建仿真基准并将生产中沉淀的执行链路无损导入离线系统。 在实际研发过程中，研究员会直接与负责自动化研究的智能体 **Arya** 协同。当生产环境中出现异常或边缘案例时，工程师可以直接提取该请求在 Weave 中记录的生产轨迹，将其作为初始输入一键转换为离线评测用例。随后，智能体会基于当前的最新代码库和 **W&B Artifacts**（W&B 工件管理系统，用于追踪数据集、模型与代码版本）自动衍生出多个候选变体，并在离线沙箱中进行严格的对比基准测试。在过去近两个月的持续迭代中，这套基于夜间**持续集成**（Continuous Integration: 频繁将代码集成到主干并通过自动化测试验证的软件开发实践）的评测管线，始终保持着对智能体任务成功率（如达到约 66% 产出率）的精细化度量与历史追踪，从而在生产出现漂移的第一时间予以拦截和修复。
Original English 非常 速い 生活 へ デモ 、 そして 他 の こと について も 話し合い ます 私 たち が どの よう に システム を 作成 し まし た 評価 オフライン モード 。 だ から 、 もし あなた が 行く Weights&Biases プラットフォーム 、 この デモンストレーション 私 が 命名 し た プロジェクト AryaResearch の Arya と 、 私 は ただ チャット する だけ です アーヤ と 私 は 彼女 に 尋ね ます 、 お願い し ます 基本 的 に 、 独立 し て 自動 で 実施 する 研究 。 つまり 、 これ は 比較的 長い 私 が 1 つ で 生成 さ れ た これら の 他 の セッション から 。 でも 見 て みれ ば 彼 について 、 それ から 彼 は 私 の コード を 受け取り ます ベース 、 登録 済み 重み と バイアス の アーティファクト 、 私 たち が できる こちら を ご覧 ください 。 彼 発売 予定 学習 課題 これ に 基づい て コード ベース と は 、 私 たち の フレーム ワーク オフライン 用 評価 。 彼 利用 可能 な もの を 確認 し ます 生産 ライン が あり ます 新しい もの を 追加 し ます タスク 段階 的 な 分析 そして 同様 の こと を する だろ う もの 。 だ から 、 ほら 、 これ 多少 は 効果 が ある だろ う 。 評価 には 少し 時間 が ある ので 、 アーヤ が どう なる か 見 て みよ う 本質 的 に 試みる 新しい もの を 書く あなた 自身 の ため の 選択 肢 。 この こと の もう 一方 の 側面 方程式 、 はい 、 そうです 制作 側 。 つまり 、 これ は 精製 さ れ た 内部 の 様子 顧客 ルート または アーリア の 内部 ルート 。 そこで 私 たち は すぐ に アーヤ が どう なる か 見 て みよ う 実際 に ここ に 正確 に 表示 さ れ ます 私 たち が 交わし た 会話 我々 は 今 、 リード し て いる 。 しかし この トレース は これ を 使い ます 。 機会 を つかむ これら の 生産 の 1 つ 登録 さ れ た ルート Weave に 配置 し ます 私 の 枠組み で は オフライン 評価 、 徐々に 分析 する 。 だ から 私 は 私 は ただ それ を する だけ です リアルタイム 。 私たち は 私 たち は あなた に 尋ね ます 比較的 簡単 な 作業 です 。 ええ と 、 これ は 少し 面白く なる だろ う 。 少し 自己 言及 的 に 、 でも 、 私 は ここ で 次 に 進み ましょ う 。 私 新しい アーヤ の タブ と ただ 「 ねえ 、 それ を 持っ て 行っ て 」 と 私 は 尋ねる だろ う この 痕跡 は 、 書き留め て ください オフライン 評価 。 ない スペル が 間違っ て いる と 思い ます 非常 に 重要 で ある 。 そして 走り 続ける 候補 者 と 制作 エージェント 。 そして 私 たち も 準備 し ます それ 。 そして 、 どの よう に これら の 推定 値 Weave では 以下 の よう に 記録 さ れ ます 彼ら の 処刑 の 時刻 。 ええ と 、 これ は 基本 的 に 要約 です 。 私 が 何者 で ある か の バージョン 私 は 毎日 、 具体 的 に 以下 を 行っ て い ます 。 制作 状況 の レビュー 私 たち の トレース WeaveWeights&Bases プラットフォーム 、 評価 を 開始 し ます 。 私 たち の コード ベース では （ これ は 私 たち の オフライン です サンドボックス 評価 ） 新しい もの を 導入 する エージェント の バージョン と 私 は これ について 取り組ん で い ます あなた の チーム と 共に 。 そして 見 て みる と 当社 の 製品 この プロジェクト 、 ほら 、 痕跡 の 集まり 私 たち は その 間 過去 7 週間 私 たち の 夜 CI タスク 私 たち が エージェント を 評価 する その 生産 フォーマット など 候補 者 の 選択 肢 、 私 たち が 削除 し た 部分 です 。 だ から 、 私 たち は 親戚 に 会う パフォーマンス 時間 と ともに 。 例えば 、 いつか 連続 統合 （ CI ） 破産 し た 、 私 たち は すでに 彼女 は 過去 を 訂正 する 夜 だ けど 、 ほら 、 私たち は およそ 生産 性 66 ％ いくつか の タスク など だ から 私 たち は 様々 な 私 たち が 取り組む べき 課題 私たち は エージェント を 訓練 し ます 。 それ で 今 私 は ただ 次 は マテリアル バージョン プレゼンテーション もう 少し 深く 理論 を 掘り下げる 建築 環境 モ
### 环境建模与解耦：DAG驱动的无约束沙箱 为了支撑智能体进行大规模、高并发的自主探索，底层的执行环境必须实现彻底的动态建模与安全隔离。传统的沙箱环境往往对操作权限施加过度限制，导致智能体无法施展复杂的多步工具组合，甚至抑制了涌现行为的产生。Weights & Biases 采取了截然相反的架构哲学：为智能体提供近乎无限制的**代码沙箱**（Code Sandbox: 允许智能体自主执行代码、安装依赖并调用工具的安全隔离运行时），使其能够并行启动数十个研究循环，并在独立的运行空间内自由地克隆环境、发起测试和检验假设。 在这套架构下，研究代码与生产代码在底层完全同构，系统每隔约四小时就会执行一次环境状态同步，从根源上杜绝了环境差异导致的算法漂移。对于运行环境的拓扑管理，平台采用了与底层模型高度解耦的**有向无环图**（Directed Acyclic Graph / DAG: 一种各节点依特定顺序单向流动、不存在闭环的数据与任务依赖结构）抽象。所有评测任务和环境初始状态均被严格声明在结构化的 **YAML** 配置文件中。在执行阶段，系统会拉取生产运行时的实时日志与数据，对 YAML 配置进行动态实例化和环境注水（Hydration），并为智能体模拟出包含 GPU 算力调度的完整运行时上下文。通过将智能体的配置、技能与环境定义全部解耦为可参数化的元数据，系统能够批量生成多样化的并行变体，并在受控环境中全面观察其行为表现。
Original English デリング オフライン アップロード 山 、 本質 的 に ソフトウェア 構築 エージェント 。 伝統 的 に 可能 だろ う あなた に 期待 し ます 本当に 信頼 できる 使用 する から 学ぶ 強化 だ が 、 今 は 主に 私 は エンジニア として 働い て い ます 。 プログラマー 、 なぜなら 複雑 な モデル 比較的 良い タスク を 実行 する 重み と バイアス 。 だ から 私 たち は 真剣 に 取り組ん で い ます スキル 開発 ソフトウェア エージェント 100 ％ 以上 から 学ぶ 強化 。 でも 私 は 私 は 思う 同じ もの を 適用 する 方法 論 以前 の どう やって 作成 する の です か エージェント 、 つまり 同じ 信頼 性 、 環境 を シミュレート する 本当に 役立ち ます 私 たち の 仕事 。 だ から 私 たち は 私 たち は 費やす 比較 分析 わずか に 同一 エージェント の バージョン 私 たち の 労働 者 環境 と 私 たち の シミュレーション 環境 。 これら の スライド が たくさん あり ます 私 が クロード は 尋ね た 捨て て しまえ ば いい ん だ けど 、 私 たち は 単に 自分 たち を 制限 する だけ です グラフィック 。 だ から 私 は 一番 興味 深い の は ここ に ある もの は フレーム ワーク を 使用 する Weave で ログイン する には 、 方法 によって 私 たち は システム を 開発 し まし た 。 私 たち の 研究 と プロダクション コード 全く 同じ です 。 そして 実際 、 生産 と 研究 環境 起こっ て いる 約 4 時間 同期 避ける ドリフト する とき 研究 者 は 作成 する 新しい エージェント オプション 、 新しい スキル など それぞれ が 自分 の こと を し て いる 高い ところ まで 登る こと によって 。 つまり 、 こう なり ます かわいい 子 タイト な サイクル 、 本質 的 には 2 つ で 1 つ 積み重ね た 側面 に 、 私 たち の レベル で 展開 と オフライン レベル ベンチマーク 。 その後 ほら 、 私 たち は 社内 チーム 多数 の コマンド を 提供 し ます 世代 に対して eval を 実行 し ます 推定 軌跡 。 そして 、 それ が 私 たち が 話し て いる 内容 です 。 この 中 で 話し た 大規模 プロジェクト では たくさん あり ます 軌跡 の 例 クリック する と その うち の 1 つ は 、 私 たち は 自分 たち の もの を 見る でしょ う 相対 的 な 推定 値 さまざま な 指標 読み込み 中 です 。 しかし 、 基本 的 に 、 私 たち が 私 たち は これら を 受け取り ます 非常 に 信頼 性 が 高い デプロイメント トレース 時間 の 経過 と ともに エージェント が 変化 する 。 そして これ は 入手 可能 です 多く の 信号 。 そして 私 は この 論文 の 主張 は は ヒープ を 生成 する 痕跡 、 そして 何 を する か 決める この 痕跡 の 山 、 試し て いる 仕組み を 理解 する エージェント 。 測定 し ます 出現 プロパティ 、 そして 試し て いる エージェント を 整列 さ せる 特定 の 方向 。 つまり 、 こういう こと が 起こっ て いる ん です 。 2 つ の 方法 で ： タスク の レビュー 手動 で 、 または 最初 の 段階 で そう し て い た でしょ う 例えば 、 アーヤ に 尋ねる レビュー 展開 、 それ は それ 自体 で 生成 さ れ た 、 または 表示 他 の 展開 と 何 が 問題 だっ た の か を 判断 する はい 、 そして 良い こと 、 私 は 強化 しよ う と し て い ます この 動作 は ヒント を 使用 する あるいは 、 何 か 別 の もの 。 ええ 、 そうですね それ から 、 あなた 自身 背後 に ある 方法 エージェント 、 親族 単純 。 私 たち は 抗議 する さまざま な モデル 、 モデル として 提供 元 コアウィーブ 推論 、 および モデル 提供 さ れ て いる 、 ファウンデーション モデル プレイヤー を通じて など 。 だ から 私 たち は 相対 的 に 定義 する 不可知 論 者 ソフトウェア スタック どの よう に 処理 封印 、 我々 は 私 たち は 文脈 と 方法 を 準備 し ます 私 たち は 役立つ 情報 を 収集 し ます 負荷 インターフェース など 、 そして また 、 精神 的 な スキーマ この 背後 には 、 は やっ て みる とても とても シンプル 多く の 存在 同じ 変異 同じ 構成 です 。 あなた 基本 的 に YAML で 欲しい 異なる もの を 識別 する エージェント 構成 、 いくつか 手 に 入れる ため に 平行 オプション 、 そして すべて テスト する そして 何 が 起こる か 見 て みま しょ う 起こる だろ う 。 なぜなら 結局 、 あなた は 理解 を 深める 解決 方法 問題 です が 、 もし ことわざ を 引用 する 昔ながら の 補強 または シンプル な 学習 モデル 、 より 良い もっと 使う 実験 より も 少ない 。 ふむ 、 これ が 論文 の 要旨 です 。 根本 的 な エージェント システム そのもの 。 そして 私 たち は 話す サンドボックス スタック について エージェント 。 そして 私 は 思う この 会議 で 多く の こと が 言及 さ れ て いる コード モード について その他 類似 の もの 。 そして 私 たち が 私 たち は 本当に 私 たち が 見る ため に 私 たち は 作り たい 最高 の 製品 お客様 の ため に 、 作成 は 簡単 です 環境 " 「 サンドボックス 」 では 彼ら は できる 何 でも 。 例えば 、 昨日 は そう し なかっ た 。 絶対 に 確信 し て い た 、 アーヤ が たくさん する 並列 実行 私 自身 も 、 彼女 に やり方 を 尋ね た この 記事 を 書い て いる 時点 プレゼンテーション 、 そして 準備 として 彼女 の ため に 、 ただ 作る 環境 " 自分 だけ の 「 サンドボックス 」 、 山積み を 始める 並列 実行 自分 の 自転車 研究 、 あるいは 研究 し ない はい ？ したがっ て 、 存在 この よう な 無 制限 環境 は 本当に 役立つ エージェント は 実行 できる 予測 不 可能 な 行動 。 だ から 、 私 は 絶対 に 確信 し て いる 6 つ の フレーズ の 意味 記録 には 残ら ない が 、 私 は 思う 理論 から 私 たち が 望む 視点 良い もの を 作る 作成 用 テンプレート これら の 環境 モデリング 。 だ から 、 私 たち は 比較的 不可知 論 的 DAG について これ は 次 の よう に 考える こと が できる 伝統 的 機械 学習 の 文脈 において 学習 、 つまり 私 たち は 構成 を 取得 し ます 。 つまり 、 これら の YAML ファイル です 。 私 たち は 私 たち は 彼ら に 水分 を 与え 、 読み込み 中 データ が 必要 です リアルタイム ; 私 たち は 私 たち は 設定 し て い ます 環境 。 そして 環境 、 重量 、 そして 変位 は 相対 的 な もの で ある 。 高価 です 。 なぜなら 私 たち の 中 には たくさん の 人 が いる 生産 データ 私 たち は 望む かもしれない 抗議 する 、 または その他 類似 の もの 。 それ 完全 な ログ 機械 学習 。 私 たち は 模倣 し なけれ ば なら ない 実行 グラフィック プロセッサ もし あなた が 費やす なら 自動 研究 など 。 比較的 強い プロセス な ので 、 あなた は それ を 望む かもしれない 並列 化 する 。 そう すれ ば 水分 補給 さ れ た 、 なぜなら 、 設定 ランタイム 環境 それ は あなた には でき ない エンコード YAML 仕様 な ので これら を 修正 し ます データ を 戻す 構成 。 ああ 、 そうだ ね そして 走る エージェント を 起動 し 、 エージェント は 些細 な 存在 だ 。 起動 する と 、 すでに 述べ た よう に 開始 、 ビット 単位 同一 バージョン 、 あなた は どれ を 持っ て い ます か ？ 生産 さ れ た 。 その後 あなた は それ を 評価 し 、 評価 と は 私 は たくさん お金 を 使う かつて は 、 基本 的 に 考えよ う と し て いる その 信頼 性 について 、 どの よう に 測定 し ます か 結果 。 ああ 、 私 も
### 双重评测范式：规范性判定与相对风格基准 在海量执行轨迹生成之后，如何建立客观、鲁棒的评测标尺，是决定智能体进化方向的核心环节。面对复杂的多轮交互与工具调用，单一度量方式极易陷入过拟合或指标失效的困境。Weights & Biases 在实践中提炼出了两套互为补充的核心评测范式： * **规范性评测**（Normative Evaluation: 侧重于硬性契约与确定性结果的评测模式）：该范式关注客观事实的成败判定，主要检验智能体是否真正达成了既定目标、是否成功生成了指定格式的工件，以及代码是否通过了严苛的断言测试。这构成了系统可靠性的底线防线。 * **相对性与风格评测**（Relative & Stylistic Evaluation: 侧重于定性比较与人机协同偏好的评测模式）：当输出结果在客观层面上均属正确时，系统需要引入模型对齐与风格层面的对比机制。例如评估智能体与用户交互时的提问清晰度、解答逻辑的组织密度，以及多方案权衡时的解释质量。 在具体的评测工程实施中，评测任务的输入规范被统一抽象为带有前置约束的配置文件。评测器不仅实时监控智能体执行过程中的工具调用链与错误码分布，还会通过系统内部团队的即时协作反馈，对评测标尺本身的有效性进行元评测（Meta-eval）。通过不断比对生产基线与候选变体在双重指标下的得分差异，研发团队能够清晰洞察每一次策略变更带来的隐性代价，确保每一次能力跃迁都建立在可复现、可度量的坚实证据之上。
Original English ほとんど の 人 が ここ には 十分 な 人 が いる 良い と 思う そういう こと だ と 思う し 、 本当に 価値 の ある もの 時間 を 過ごす とき 設定 が あり ます 起動 方法 評価 、 考察 の 糧 当社 の 信頼 性 について メール 。 えっ と 、 Slack の メッセージ おそらく 私 は そう し ない だろ う お 見せ でき ます よ 。 私 が 受け取っ た 画面 今日 は 私 の 友人 チーム 、 本当に 気に入っ て い ます 。 彼 は 嬉しかっ た 、 なぜなら ほぼ 全体 昨日 考える の に 費やし た 私 たち の 評価 の 状況 と 両者 の 違い そして 結果 。 えっ と 、 そして そう 思い ます 。 メンタル モデル として - だ から 全て が うまく いく の です いい よ 、 それとも ダメ ？ うまく 機能 する 、 ギャップ が 見 られ ます これら ２ つ の テンプレート 、 本当に 役立つ 。 えっ と 、 私たち の 場合 、 重み そして アーリア の 偏見 自己 評価 2 つ の テンプレート 、 規範 的 で あり 、 実際 、 私たち 私 たち は タスク を 完了 し まし た あるいは そう で ない 、 そして 相対 論 的 に 、 インストール でき ます スタイル は 1 つ の 選択 肢 は 、 彼 は 質問 ユーザー に対して 、 そして 1 つ の 選択 肢 は これ は 評価 者 です 。 あなた は 彼 に これら を 与え ます 2 つ の バリエーション 、 そして 彼 は 何 を 評価 する か を 決定 し ます より 良い 。 したがって 、 この 問題 の 文脈 において 、 アーヤ と 私 は 今 それ を 持って い ます これら 2 つ の オプション 、 つまり 彼女 は 評価 し まし た 私 の リクエスト は 「 これら の 2 つ の モデル を 比較 し て ください 」 でし た 。 そして これ が 、 彼女 が 取り組ん で いる 間 の 彼女 の 痕跡 です 作業 中 の チャット 。 そして 、 もし 私たち が チャット に 戻り ましょ う 。 これ が まさに 起こっ た こと です 。 彼女 私 たち の タスク を 完了 し まし た 。 彼 は ここ に ある 、 まさに 私 が 彼 に 尋ね た 質問 つまり 、 これ は 質問 アーリャ は 自分 の 行動 を 研究 車 。 えっ と 、 私たち は 私 たち は ただ 彼 / 彼女 に 尋ねる 続く 。 じゃあ 、 さようなら 彼 は それ を 実行 する 。 そして これ タスク は 質問 が 1 つ あり ます 彼 は タスク を 完了 し まし た か ？ そして これ 規範 的 な 評価 。 それ は 単純 に イエス か ノー か 、 そして それ は とても 優れ て い ます 単純 。 そして 、 ほら 、 と 彼 は 言い ます 。 はい 、 彼 は タスク を 完了 し まし た 、 それ は これら を 使用 し て い ます パラメータ 、 そして これら を 使用 し て アーティファクト など 。 そして それ は 素晴らしい です 。 これら は 2 つ の 選択 肢 です 私 たち が 使用 する こと が できる 評価 この エージェント の ため に 。 そして 、 それ ら を 見 て みる と 、 実際 に は 何 が 起こっ た の か 、 何 が 起こっ た の か 、 アーヤ が出演 し ます 。 ああ 、 そうだ ね それ から 、 もっと 伝統 的 に 、 タスク 、 私 は 評価 課題 は 仕様 のみ 私 たち が 定義 する YAML 初期 条件 として 山積み の 環境 。 これ ら の パラメータ は すべて 環境 。 これ ら は すべて の ファイル です 。 あなた は これら を 評価 し たい です これら は すべて の エラー です 。 この よう な こと 。 したがって 、 私たち は これら の ファイルを 使用 し ます 仕様 と それら の 助け を 借り て 私たち は 作成 し ます これら の 評価 。 これ ら の 評価 は 単に オフライン 環境 です 、 私たち が 作成 する ため の これら の タスク を 評価 する 。 そして それ は 素晴らしい です 。 これ ら の 評価 は 単に オフライン 環境 です 、 私たち が 作成 する ため の これら の タスク を 評価 する 。 だから 私たち は ただ これら を 実行 する だけ です 、 そして それら は 私たち に 与え て くれる これら の 結果 。 そして 、 それ ら を 見 て みる と 、 私たち は それ を 知る こと が できる 、 彼ら が どのように 機能 し ている か 。 そして それ は 本当に 素晴らしい です 。 これ ら の 評価 は 単に オフライン 環境 です 、 私たち が 作成 する ため の これら の タスク を 評価 する 。 そして それ は 素晴らしい です 。 これ ら の 評価 は 単に オフライン 環境 です 、 私たち が 作成 する ため の これら の タスク を 評価 する 。 だから 私たち は ただ これら を 実行 する だけ です 、 そして それら は 私たち に 与え て くれる これら の 結果 。 そして 、 それ ら を 見 て みる と 、 私たち は それ を 知る こと が できる 、 彼ら が どのように 機能 し ている か 。 そして それ は 本当に 素晴らしい です 。
### 自增强飞轮实战：从线上Trace到爬山算法修复 这套自增强评测架构的真正威力，集中体现在智能体应对生产故障时的自愈与优化能力上。在真实的研发演示中，团队展示了一次教科书式的自动化改进闭环。当智能体在生产环境中调用底层接口时，由于沙箱环境内对 `weave.log` 的 SDK 调用方式存在语法或参数层面的隐式不兼容，产生了一条报错追踪。传统的研发流程需要工程师介入、查看日志、本地调试并提交补丁；而在自增强体系下，这一流程被完全自动化重塑。 首先，系统将该条异常的生产 Trace 完整捕获，并作为回归样本注册至离线工件工厂 **WBAF**（Weights & Biases Artifact Factory: 用于沉淀真实案例并构建离线基准测试集的平台设施）。随后，系统自动构建了一个以“修复当前异常、提升任务通过率”为优化目标的**爬山算法**（Hill Climbing: 一种通过在解空间内不断向局部更优方向微调参数以寻找最优解的启发式搜索策略）搜索任务。智能体自主分析错误根因，并在候选空间中并发衍生出多种修复策略——从在系统提示词中注入边界防守指令，到微调工具调用中的特定参数结构。随后，离线评测引擎并发运行生产基线版本与各候选变体，并在几分钟内自动生成包含全量运行指标的对比报告。实验表明，候选变体仅需通过针对性的提示词补丁便优雅化解了 SDK 报错，在零人工代码干预的情况下完成了能力的增量自增强。
Original English これ を コピー し て ください トレース 製造 工程 そして それ を 登録 する フレーム ワーク 。 もし 私 が 私 は これ について 話 を 進め ます 、 ええ と 、 私 は 住ん で い ます 私 が 実証 し た こと 発売 開始 これ と 共に 良い 長い リクエスト だ よ 、 アーヤ 私 に 教え て くれる 研究 発表 彼女 が 演じ た 作品 。 それでは 、 次 に 進み ましょ う 。 これら の いくつか による と リンク 。 えっ と 、 私 彼女 に 書い て もらう よう 頼ん だ レポート Weights&Bases は 、 打ち上げ 完了 。 これ を 片付けれ ば 、 それ が 何 な の か 見 て みま しょ う 最新 の 追跡 情報 製造 工程 、 彼女 が ちょうど 登録 済み 。 彼女 自分 で 新しい もの を 書い た タスク 、 開始 彼 を 観察 し て 、 それ から 彼 を 評価 し た 。 ええ と 、 こう やって 比較 オプション 製造 工程 弊社 の 特定 の タスク 。 もし 私 たち が レポート を 見 て みま しょ う 。 彼女 は 何者 です か ？ 生成 さ れ た 、 これ 私 が 実証 し た こと 彼女 に そう する よう 頼ん だ 。 だ から 、 彼 は 本物 を 発売 し た wandb エージェント トレース それ を 回帰 問題 WBAF 。 WBAF は 工場 です 。 私 が 作っ た もの 、 つまり 重量 物 および 添加 剤 工場 基地 。 これ は 、 これ は 、 オフライン ベンチマーク 。 彼 は 発見 し た 問題 は なぜなら 私 たち は 間違っ て いる weave.log と 呼ば れる 、 SDK 呼び出し から 、 サンドボックス 。 彼 オリジナル を 再現 する 追跡 、 ここ を クリック でき ます 、 そして 、 たくさん の エージェント オプション 彼 が どの よう に 自ら を 向上 さ せる 。 したがっ て 、 ほら 、 と 彼 は 付け加え た 。 目標 「 登山 」 「 丘 」 では 基本 的 には 「 必要 な もの は こちら です そう する ため に 「 これ を 修正 し て ください 」 追跡 を 開始 し 、 そして 私 たち は それ が どう なる か 見 て みま しょ う 私 たち にとって は 小さい 何 の 説明 か それ が 最後 に 起こっ た こと だ 。 その オプション は どの よう に 機能 し まし た か ？ 製品 版 vs. バリアント 版 候補 者 ？ そして 、 それ が 私 は 今 、 何 の ため に 生き て いる の だろ う か ？ そして したがっ て 、 私 は フライホイール は こちら 非常 に 私 にとって 魅力 的 で 、 代わり に 私 の もの に 戻る クラウド コード と オフライン で 書き込み ます ベンチマーク と 考え て み て ください 私 が 望む こと について エージェント が やっ た 、 私 は ただ 私 は これ を 頼り に 生き て いく つもり だ 。 プラットフォーム と 切り替える 私 の プロジェクト トレース 制作 現場 、 私 は どこ に いる の か 私 は 見 て い ます トレース 時間 と ともに やってくる アリア 、 つまり 彼女 自身 作成 し て 、 それ から 私 の もの に 戻る オフライン プロジェクト 評価 により 、 彼 が 何 を する か 見 て みよ う 私 の チーム 、 私 は 何 を し て いる の だろ う か 私 自身 、 そして 私 は どんな 変化 を 望ん で いる の か 貢献 する 。 私 たち は どの よう な 変更 を 行っ て いる の でしょ う か ？ スキル の 向上 に 貢献 生産 ？ または エージェント オプション 。 そして 等々 。 そして 、 見る この 展開 物事 、 私 は 思う 大きな 問題 、 私 たち が 遭遇 する もの 、 それ は 切り替え は とても 簡単 です 自動 モード これら の いくつか について は タスク どの よう に エージェント が すべて を やっ て くれる ので 、 私 は 何 も 書か なかっ た 既に コード 行 約 8 ヶ月 、 だって 、 ただ 言っ てる だけ なん だ もん クロード が 全文 を 書く 私 の ため の コード 、 そして これ 本当に 美しい テンプレート です が 、 そう で は あり ませ ん あなた を 解放 し ます 私 たち が どの よう に 考える か についての 考え 私 たち は 貢献 し たい 改善 、 そして 私 は 思う これら の 使用 用 ツール 彼ら の 改善 は 非常 に 価値 が ある の は 使う こと が でき ます グレー ゾーン で 過ごす 時間 が 増える ニッチ 市場 を 開拓 し 、 どの よう に 考える か この システム を 改善 する 、 そう です よね ？ だ から 、 もし あなた が エージェント を 作成 し ます 、 私 は お願い です スケール を 使用 する そして 偏見 これ を 追跡 し て い ます エージェント など 本
### 角色重塑与系统边界：从编码员到护栏架构师 智能体自增强飞轮的跑通，正在深刻重构软件工程师与 AI 系统之间的协作契约。在 Weights & Biases 的日常工程实践中，工程师的角色已经悄然蜕变：过去的几个月里，核心研发人员几乎不再手动撰写常规的代码实现，而是全面依靠大模型生成完整的业务逻辑和工程模板。然而，这绝不意味着人类智慧从系统构建中隐退，相反，人类工程师的精力被释放并聚焦到了更高维度的架构设计之上。 当繁琐的编码、排错与基准跑测被交由智能体自主执行后，人类的核心使命转移到了两大高价值领域：其一是**灰度探索与利基定义**，即在充满不确定性的复杂商业与技术边界中，敏锐捕捉智能体在特定场景下的失效边缘，定义新的问题空间；其二是**系统护栏**（Guardrails: 限制大模型与智能体行为边界、防止越权与幻觉的安全防护与约束机制）的设计与编排。工程师的日常工作不再是追逐局部的逻辑细节，而是围绕智能体精心搭建坚固的防护围栏，设定鲁棒的评价准则与准入基准。通过这种人机协同模式，智能体在受控的轨道上高效试错与自我进化，而人类则掌控着系统的演进方向与安全红线，共同开启了自动化软件工程的全新篇章。
Original English 当 に 素晴らしい プラットフォーム 追跡 モデル 。 だ から 他 の 何 人 か は 私 たち が ここ で 彼ら は これ を 示し た 機械 モデル アーヤ の H200 で の トレーニング は 、 作業 中 コーリー インフラ ストラクチャ 、 行為 自動 NanoChat の 研究 カルパティ など から 、 または 本格 的 な 制作 プロジェクト 。 でも 私 は この こと について 最も 興味 深い こと は 私 にとって の 主張 は 、 私 には 必要 ない もの これ を 残し て おく プラットフォーム は 現在 まで 自分 の 義務 を 果たす 仕事 です よね ？ で お腹 が いっぱい です 。 可 観測 性 視点 制作 、 私 は 満杯 可 観測 性 オフライン の 視点 から 、 そして 見 て みる と アリア が 言う こと 、 たくさん 使う 私 の 代わり に 評価 自分 自身 を 向上 さ せる ため 。 そして 、 あの 自動 式 の やつ 私 が 話し て いる 政権 は 今 思い出し た ん だ けど 、 本当に 興味 深い 、 なぜなら 今 は できる から 自分 の 全 財産 を 費やす 考える 時間 、 どう すれ ば 改善 でき ます か この システム 。 これら たくましい 小さな 子供 たち 保護 フェンス インストール でき ます 彼女 の 周り で それ を 作る ため に より 役立つ ツール 皆さん 全員 、 そして 私 にとって 。 うーん 、 でも そうですね 。 これ は 救急 車 です デモンストレーション 。 私たち は 見 て みま しょ う 通話 追跡 生産 、 ここ に アーヤ から の もの が あり ます 。 それ 彼女 の 評価 ちょうど 終わっ た ところ です 。 したがっ て 、 見 て みる と 実際 の トレース 、 アーヤ が たくさん の 仕事 を し た 。 彼女 は これ を 完了 し た カラム 予後 予測 結果 。 我々 は 持っ て い ます 数々 の 課題 ツール 実施 さ れ た 。 えー と 、 ほら 、 もし 私 たち が チャット に 戻り ましょ う 。 その 時 に なっ たら 分かる よ 実際 の バージョン 、 彼 が 立ち上げ た もの だ 。 どうやら オプション は 候補 者 は 単に ちょっとした ヒント 、 挿入 し た もの システム プロンプト または スキル の 1 つ で 、 この 特定 の 問題 を 解決 する ため に SDK エラー 、 えー と 、 柔らかく する 。 まさに その 通り この よう な 複製 生産 エージェント への シミュレーション 、 そして 定義 改善 テンプレート - これ が 私 が 本当に 一緒 に 去り たい みんな 。 これ が コア ウィーブ です アーヤ 。 ええ と 、 お願い し ます 。 Weights&Bies へ ようこそ 。 そう で あっ て ほしい 興味 深い 話 どの よう に 決定 し た か 自分 たち の もの を 作る オフライン 指標 評価 、 私 たち が どの よう に 私 たち は 以下 の データ を 収集 し ます 生産 、 そして フライホイール これら を 作成 しよ う と する 試み エージェント 、 そして それ に関する もの 私 は 毎日 その こと を 考え て い ます 。 そして はい 、 始め ましょ う 。 心 から 皆さん 、 ありがとうございまし た 。