标签:knowledge-distillation

  • 大模型的研究能力,两天就能蒸馏进一个小模型 yage.ai
    OpenResearcher论文提出通过构建本地封闭检索环境,利用大模型生成研究轨迹并蒸馏至小模型,使其在特定基准上超越商业旗舰。该方法揭示了环境工程与行为轨迹的价值,但受限于教师模型上限及环境泛化能力。
  • 二次元头像=技术大佬?DeepSeek Harness揭开AI圈隐藏规律 · 乔木博客 向阳乔木
    文章介绍了 DeepSeek 发布了 DeepSeek Harness (DSH),一个让模型能作为 Agent 的外壳框架。DSH 的核心理念是“一切皆插件”,允许用户通过插件来扩展模型的工具、技能和功能。文章重点展示了 DSH 社区的快速发展,以及通过 'Colleague-skill' 和 'OpenBiliClaw' 等热门插件,如何将模型能力转化为实际工作技能和信息获取工具,体现了开源生态的活力和用户驱动的创新。
  • 本地AI峰会圆桌讨论:为什么是本地,为什么是现在? AI Engineer
    本篇圆桌对话围绕本地AI的爆发性拐点、多模型混合架构、模型量化调优、数据主权以及开源生态建设展开。NVIDIA、Osmantic、Roboflow和EXO Labs的专家深入探讨了企业如何利用前沿大模型微调小模型以提高Token效益,并分享了在有限边缘端算力下压榨出十倍推理性能的实战案例,指出降低体验门槛和积极倡导开源对本地AI落地的关键意义。
  • "蒸馏"到底帮了中国 AI 公司什么忙 yage.ai
    文章探讨了中国AI公司通过“蒸馏”技术获益的争议。作者区分了经典知识蒸馏、输出模仿和推理链迁移,指出后者是关键。虽然蒸馏能帮助后发者快速获得推理和工具使用能力,跳过大量研发成本,但存在泛化能力缺失和时效性限制。随着后发者自建数据飞轮,蒸馏作为冷启动策略的价值递减。DeepSeek 的独立创新被视为长期竞争力的范例。
  • AI大一统元年:Jeff Dean深度解读谷歌AI战略与未来 Best Partners TV
    谷歌技术巨擘杰夫·迪恩在Latent Space访谈中,深入剖析了谷歌AI的核心战略。他强调了模型性能与效率的极致平衡,知识蒸馏在连接前沿与轻量模型中的关键作用,以及Gemini Flash等模型在普及AI中的核心动力。访谈还探讨了基准测试的局限、原生多模态能力的边界、AI驱动的搜索架构、TPU硬件的协同设计、延迟与能效的考量,并预测了个性化模型和硬件突破将引领AI新纪元。