1. Mistral 3 模型发布与核心亮点

AI 公司今日发布了 Mistral 3 系列模型，该系列包括旗舰版的 Mistral Large 3 以及 miniST 3 模型系列。miniST 3 系列模型包含 14B、8B 和 3B 三个版本。其中，miniST 14B 模型在多项基准测试中表现出色，超越了 Qwen 3 14B 模型。

无论是 Mistral Large 3 还是 miniST 3，它们的上下文窗口均达到了 256K tokens，这比 Qwen 3 系列模型支持的 32K（扩展后 131K）上下文窗口大了 8 倍。256K 的超长上下文窗口意味着模型能够处理更大量的文档和进行更多轮次的对话。

此外，miniST 3 14B 模型在推理速度上更快，并且最关键的是，它是一款多模态模型，支持图像输入。该系列模型对中文的支持度极佳，并且工具调用能力有了显著提升，支持结构化输出和文档问答。

2. Mistral 3 14B Instruct 25 E2 模型深度实测

本期视频将详细测试 miniST 3 14B Instruct 25 E2 模型的综合能力。该模型支持通过 vLLM 进行推理，并且采用 FP8 精度，这意味着可以使用更少的显存来运行模型。这使得该模型非常适合本地部署，例如用于构建本地知识库、本地部署智能体或智能客服系统。

值得注意的是，miniST 3 14B 还有一个 RAG（Retrieval-Augmented Generation）模型版本。用户可根据具体任务场景选择 Instruct 模型或 RAG 模型。

2.1 本地部署与环境搭建

模型的使用非常简单，只需通过 vLLM 进行部署。本次演示在 NVIDIA RTX A6000 显卡上进行本地部署。 首先，需要安装必要的依赖：

uv
# 重新加载 shell
# 安装 vLLM
vlm_install_command # Placeholder for actual vLLM installation command

部署成功后，模型将在本地 8000 端口启动。

2.2 多模态图像理解能力

为了方便演示，通过 Open Web UI 调用本地部署的模型。

测试 1：图像内容识别 上传一张近似《清明上河图》但包含现代元素的图像（如自行车、摩托艇）。

• Prompt: "图中的自行车和摩托艇处于什么位置？"
• 结果: 模型准确识别出自行车位于左下角靠近岸边，摩托艇位于左上角水面上。

测试 2：复杂图像识别 让模型识别图像中的“怪兽”（恐龙）。

• Prompt: "图中的怪兽处于图像的什么位置？"
• 结果: 模型准确识别出怪兽（看起来像恐龙）位于图的右下角附近，并分析这可能展示一种奇幻或历史虚构场景。

测试 3：推断图像来源 在识别出恐龙后，追问画面是否为古人所绘。

• Prompt: "所以这幅画是否是古人所画？"
• Result: 模型正确判断并非古人所绘，因为恐龙是现代科学概念，古人不知其存在，表明这是现代创作。

测试 4：识别水生生物 识别画面中的“鳄鱼”。

• Prompt: "图中的鳄鱼处于图像的什么位置？"
• 结果: 模型准确指出鳄鱼位于右侧中下方，靠近水边，在几艘小船附近的水域中，仅露出上半部分。

测试 5：手写体 OCR 输入一张结构复杂、元素较多的手写体图像。

• Prompt: "提取图中内容，并保持原有格式输出。"
• 结果: 模型成功提取了内容，并以 Markdown 格式输出，包括大字体标题和正文，展现了基础的 OCR 能力。

测试 6：模糊扫描件 OCR 输入一张非常模糊的扫描件，包含代码。

• Prompt: (同上) "提取图中内容，并保持原有格式输出。"
• 结果: 模型成功提取了大标题、文本段落、中文内容、表格，甚至将代码放入了 code block 中。即使在 FP8 精度和模糊扫描件的条件下，OCR 效果依然相当不错。

测试 7：时钟时间识别 测试模型识别图像上时钟显示的时间。

• Prompt: "图中时钟显示的时间是几点几分？"
• 结果: 模型识别错误，将 9:00 误识别为 3:15。指出识别时钟时间对当前模型仍有难度。

3. 文本生成与幻觉测试

通过 API 调用模型，测试其文本生成、Function Calling 能力以及文档问答能力。

测试 1：虚构历史事件

• Prompt: 提问一个虚构的历史事件。
• 结果: 模型识别出该事件可能存在误解，文献中未记载，并进行了详细分析，未产生幻觉。

测试 2：混淆作品与作者

• Prompt: 将作品与作者进行混淆。
• 结果: 模型准确指出作品并非某作者所作，并进行了具体分析。

测试 3：不存在的化学物质

• Prompt: 询问一个不存在的化学物质。
• 结果: 模型推测可能指代某个相似的化学物质，并进行了分析，表现出良好的推理能力。

4. 文档问答能力

在 Colab 中进行测试，使用一篇非常长的研究论文。

4.1 环境准备

安装所需依赖，设置 API Key。

4.2 测试问题

准备了三个问题，要求模型用中文回答并给出具体数值：

1. "这个模型具有多少个 transform 层，隐藏状态大小是多少？"
2. "它使用 GQA 配置，具体包含多少个查询头和建值头？"
3. "经过完整训练后的这个模型获得了多少得分，得分提高了多少个百分点？"

4.3 测试结果

模型在分析论文后，给出了精准的回答：

• Transformer 层数: 32 层
• 隐藏状态大小: 3072
• GQA 配置: 24 个查询头和 8 个建值头
• 得分: 获得 50 分，提高了 40 个百分点

结论：模型能够精准地从长篇论文中提取并回答复杂问题。

5. Function Calling 与智能客服系统

在 Colab 中构建一个基于 Function Calling 的智能客服系统，用于查询和管理进销存数据。

5.1 数据库初始化

模拟生成商品主数据、当前库存表、交易记录表、按商品汇总的表。

5.2 工具函数定义

定义了以下工具函数：

• 查询库存状态
• 记录入库
• 记录出库
• 获取库存预警
• 获取销售统计
• 搜索商品

5.3 Agent 构建与测试

定义了 Function Calling 规范，并创建了一个智能客服 Agent，设置了系统提示词。

测试 1：查询库存状态

• Prompt: "请查看一下当前所有商品的库存状态。"
• 结果: Agent 准确调用了“查询库存状态”函数，并显示了各商品的库存状态，包括库存健康分析和补充建议。

通过设置的其他复杂测试题，Agent 都能准确进行函数调用并生成恰当的回答。miniST 3 14B 的 Function Calling 能力表现非常出色。

6. AutoGen 智能体框架集成

在 Colab 中测试 Mistral 3 14B 模型在 Microsoft AutoGen 智能体框架中的表现。

6.1 Agent 定义

定义了四个智能体：

1. 旅行规划师 (Travel Planner): 负责根据用户需求制定详细旅行规划。
2. 本地向导 (Local Guide): 提供当地特色信息。
3. 语言文化顾问 (Language & Culture Advisor): 提供语言文化建议。
4. 旅行总结专家 (Travel Summary Expert): 负责总结行程。

6.2 群聊团队构建

将四个智能体组成一个群聊团队，并设定终止条件为输出 terminate。

6.3 任务执行

任务: 规划三天尼泊尔旅行。

6.4 结果展示

• 旅行规划师 提供了详细的行程概览和每日具体规划，包含精确的时间安排。
• 本地向导 输出当地特色信息。

每个智能体都输出了非常详细的内容。模型在 AutoGen 框架中的集成效果显著。

7. 总结

本次视频通过多种场景测试了 Mistral 3 14B 模型的综合能力，其在图像理解、文档问答、工具调用等方面表现强劲。这使其成为私有化部署的理想选择。

与其他同等参数的开源模型相比，Mistral 3 14B 突出的优势包括：

• 推理速度快
• 强大的多模态能力
• 256K 的超长上下文窗口

这些能力是同类开源模型所不具备的。