> ## Documentation Index
> Fetch the complete documentation index at: https://api.xcompute.us/llms.txt
> Use this file to discover all available pages before exploring further.
# 大模型使用与评估：开源模型篇
> 从日常使用、Coding、Agent、多模态、部署成本和服务稳定性角度整理开源模型选型经验。
本章以开源模型和闭源模型为两条主线，讨论日常使用与模型评估经验。本文先介绍开源模型；闭源模型将在后续篇章单独讨论。
对比 GPT、Gemini、Claude、Grok、Qwen 和豆包的日常体验与适用场景。
本文最后更新于 **2026 年 5 月 11 日**。模型体验具有主观性，版本、量化方式、推理框架、系统提示词和业务数据都可能改变结果。请结合自己的任务和线上指标判断。
## 如何阅读本文
模型榜单只能提供线索，不能代替业务评估。本文主要关注以下维度：
| 维度 | 需要观察的内容 |
| -------------- | --------------------- |
| 准确性 | 事实错误、幻觉、计算和逻辑错误 |
| 指令遵循 | 格式约束、角色边界、复杂要求的完成度 |
| 长上下文 | 信息召回、跨文件关联、前后文一致性 |
| Coding 与 Agent | 代码理解、修改范围、工具调用、错误恢复 |
| 多模态 | 图片理解、OCR、视觉定位、视频和音频能力 |
| 速度与稳定性 | 首 Token 延迟、输出速度、断流和限流 |
| 部署难度 | 显存、量化损失、推理框架和运维成本 |
| 总成本 | 输入、输出、缓存、并发和人工返工成本 |
## 开源与闭源如何选择
| 需求 | 更适合开源模型 | 更适合闭源模型 |
| ---------- | ---------- | ------- |
| 私有化与数据控制 | 是 | 通常不是首选 |
| 深度定制与微调 | 是 | 受平台能力限制 |
| 快速获得最强综合能力 | 需要较高部署成本 | 通常更合适 |
| 固定高并发工作负载 | 规模稳定时可能更划算 | 前期接入简单 |
| 小团队快速上线 | 需要额外运维 | 通常更合适 |
| 可审计和离线运行 | 是 | 取决于供应商 |
实际业务经常采用混合路由：便宜、稳定的开源模型承担分类、抽取、RAG 和常规 Agent 任务，闭源模型处理少量高难推理、复杂工程或高价值内容。
## 开源模型生态
本文重点讨论 2025 年以来热度较高的系列。模型参数、许可证和架构细节应以 Hugging Face Model Card、`config.json` 和厂商仓库为准。
| 公司或机构 | 模型系列 | 常见定位 |
| ------- | -------- | ---------------------- |
| 深度求索 | DeepSeek | 通用、推理、Coding、长上下文 |
| 阿里巴巴 | Qwen | 全尺寸、多模态、Coding、端侧部署 |
| 智谱 | GLM | Coding、Agent、企业应用 |
| 月之暗面 | Kimi | 长上下文、搜索、Coding、多模态 |
| MiniMax | MiniMax | Coding、Agent、低激活参数、音视频 |
| 腾讯 | Hunyuan | 多模态、3D、企业生态 |
| 小米 | MiMo | Coding、Agent、端侧与智能硬件 |
| 美团 | LongCat | 通用、Coding、图像与视频 |
| Google | Gemma | 端侧、多模态、研究与领域微调 |
| OpenAI | GPT-OSS | 推理架构研究、工具调用实验 |
## DeepSeek：开源大模型的基准线
DeepSeek 从 Dense 模型发展到 V2、V2.5 的 MoE 路线，再到 V3 和 R1 大规模使用强化学习与合成数据。它长期以较低 API 成本提供大参数模型，因此经常成为企业接入和新模型比较时的基准。
早期 V3 和 R1 的能力提升很明显，但实际使用中也容易出现幻觉偏高、文风发散和过度推演。后续版本逐步改善稳定性，V3.1 合并思考与非思考能力，V3.2 引入稀疏注意力并支持交错思考。
从日常体验看，DeepSeek 更像覆盖面很广的通用选手：知识、推理、代码和写作都能处理，但关键业务仍需要事实校验、结构化约束和回归测试。
### V3 与 R1 系列
| 模型 | 体验备注 |
| ---------------------- | ---------------------- |
| DeepSeek-V3 | 初代 V3，创造性强，但幻觉和输出发散较明显 |
| DeepSeek-V3-0324 | 稳定性有所改善，仍需关注事实错误 |
| DeepSeek-V3.1 | 融合思考与非思考模式 |
| DeepSeek-V3.1-Terminus | 修复 V3.1 的部分异常输出问题 |
| DeepSeek-V3.2 | 使用 DSA 进一步降低长上下文推理成本 |
| DeepSeek-R1 | 初代推理模型，推理链较长且容易过度展开 |
| DeepSeek-R1-0528 | 推理能力和稳定性有所改善 |
### V4 系列
DeepSeek V4 系列进一步强化长上下文与缓存计费优势。实际使用时，先把需求相关文件和背景材料完整放入上下文，通常比只给一句抽象指令更有效。
| 模型 | 体验备注 |
| ------------------ | ---------------------------------------- |
| DeepSeek-V4-Pro | 1M 上下文，1.6T-A49B；硬推理和角色表达较强，工程规划仍依赖充分上下文 |
| DeepSeek-V4-Flash | 1M 上下文，284B-A13B；速度和成本突出，适合长上下文工作流 |
| DeepSeek-V4-Vision | 灰度测试阶段的暂称，具体规格以正式发布为准 |
**适合场景**：高性价比通用 API、长文档处理、RAG、批量任务和成本敏感的 Agent。
**需要注意**：高价值事实、复杂工程修改和长链路 Agent 任务必须增加验证环节。
## Qwen：覆盖最完整的开源矩阵
Qwen 从 2.5 世代开始形成完整的尺寸矩阵，并同时覆盖语言、视觉、代码和端侧场景。它的优势不只是单个模型得分，而是权重、工具链、量化版本和社区生态较完整。
Qwen3 初版的后训练效果存在争议，2507 系列明显改善了可用性。选择 Qwen3 变体时，需要区分 Thinking、Instruct、VL、Coder 和 Next，不能只比较参数量。
### Qwen3 通用系列
| 模型 | 体验备注 |
| ------------------------ | ----------------------- |
| Qwen3-235B-A22B-Thinking | 强推理 MoE，能力高但 Token 消耗明显 |
| Qwen3-235B-A22B-Instruct | 指令版本，部分任务仍可能输出较长推理过程 |
| Qwen3-30B-A3B-Thinking | 激活参数小，适合资源有限的本地推理 |
| Qwen3-30B-A3B-Instruct | 速度和部署成本较均衡 |
| Qwen3-32B | Dense 模型，能力稳定但端侧成本更高 |
| Qwen3-14B / 8B | 家用显卡和中小规模部署的常用区间 |
| Qwen3-4B / 1.7B / 0.6B | 端侧、实验和学术研究用途 |
### Qwen3-VL 系列
| 模型 | 体验备注 |
| --------------------------- | -------------------- |
| Qwen3-VL-235B-A22B-Thinking | 高能力开源视觉推理模型 |
| Qwen3-VL-235B-A22B-Instruct | 适合复杂图片理解和视觉问答 |
| Qwen3-VL-30B-A3B-Instruct | 推理速度快，能力与部署成本平衡较好 |
| Qwen3-VL-8B-Instruct | 足以覆盖多数常规 OCR 和图片理解任务 |
| Qwen3-VL-4B-Instruct | 适合端侧视觉应用 |
| Qwen3-VL-2B-Instruct | 更适合研究和轻量实验 |
### Coder、Next 与 3.5/3.6
| 模型 | 体验备注 |
| ------------------------------ | ----------------------- |
| Qwen3-Coder-480B-A35B-Instruct | 大型代码模型，能力够用但 Token 消耗高 |
| Qwen3-Coder-30B-A3B-Instruct | 适合受限环境下的本地 Coding |
| Qwen3-Next-80B-A3B-Instruct | 稀疏模型，知识容量和推理速度兼顾 |
| Qwen3-Next-80B-A3B-Thinking | 本地思考模型，激活参数较小 |
| Qwen3.6-35B-A3B | 本地 Coding 与 Agent 的均衡选择 |
| Qwen3.6-27B | Dense 模型，智力密度较高 |
| Qwen3.5-397B-A17B | 对应云端 Plus 定位的大型模型 |
| Qwen3.5-122B-A10B | 知识覆盖更丰富的中大型部署选择 |
| Qwen3.5-35B-A3B / 27B | 常见本地 Coding 与 Agent 选择 |
| Qwen3.5-9B 及以下 | 端侧、研究和专项微调用途 |
**适合场景**：私有化部署、视觉理解、模型微调、端侧应用和需要完整开源工具链的团队。
**需要注意**：型号非常多。评估时固定准确版本、量化精度和推理参数，避免把不同后训练版本混在一起比较。
## GLM、MiniMax 与 Kimi：Coding Agent 主力
### GLM
GLM 从 ChatGLM 时代积累了中文和本地部署经验。GLM-4 后期重新加强开源投入，4.5 到 4.7 世代的 Coding 和 Agent 能力提升明显。
| 模型 | 体验备注 |
| -------------- | ------------------------------ |
| GLM-4.5 | 358B-A32B，Coding Agent 路线的重要版本 |
| GLM-4.5-Air | 106B-A12B，更适合中小企业量化部署 |
| GLM-4.5V | 视觉版本，上下文配置需要重点确认 |
| GLM-4.6 / 4.6V | 通用与视觉能力继续增强 |
| GLM-4.7 | 支持交错思考的旗舰版本 |
| GLM-5 | 744B-A40B，规模和综合能力显著提升 |
| GLM-5.1 | 进一步增强代码和 Agent 能力 |
GLM-5 系列的上限较高，但大模型也带来推理速度和服务稳定性压力。业务评估不能只看正确率，还要记录断流率、首 Token 延迟和高峰期吞吐。
### MiniMax
MiniMax-M2 使用较小激活参数切入 Coding Agent，在输出速度和推理成本上有优势。真实软件工程通常需要多轮“修改、测试、反馈、再修复”，速度会直接影响总工时。
| 模型 | 体验备注 |
| ------------ | ------------------------ |
| MiniMax-M2 | 230B-A10B，速度和工程能力较均衡 |
| MiniMax-M2.1 | 进一步加强代码能力 |
| MiniMax-M2.5 | 强化工程与 Agent 能力，部分场景需重新回归 |
| MiniMax-M2.7 | 强化外部工具调用，复杂任务仍需观察稳定性 |
MiniMax 还具备音频和视频生成产品线，适合希望统一采购文本与多媒体能力的团队。
### Kimi
Kimi K2 通过大参数 MoE 获得较强的知识覆盖和代码泛化能力。它在搜索、长上下文和前端开发方面表现突出，但 1T 规模也意味着更高推理成本和更慢速度。
| 模型 | 体验备注 |
| --------------------- | -------------------------- |
| Kimi-K2-Instruct | 1T 规模的非思考指令模型 |
| Kimi-K2-Instruct-0905 | 代码能力增强版本 |
| Kimi-K2-Thinking | 思考模式版本 |
| Kimi-K2.5 | 融合思考开关并支持视觉，Agent 能力更完整 |
| Kimi-K2.6 | 常规能力升级，适合与 GLM-5.1 等模型同场评估 |
**适合场景**：长上下文搜索、研究、复杂前端代码、需要视觉输入的 Agent。
## 腾讯、小米与美团：应用生态驱动
### Hunyuan
腾讯在视频、3D 和多模态方向投入较多。通用语言模型需要按具体版本评估，其中 Hunyuan-A13B 在中等规模部署中具备一定性价比。混元 3D 更适合结合腾讯已有内容与游戏生态观察。
### MiMo
MiMo 的价值在于 Coding、Agent 与智能硬件结合。MiMo-VL-Miloco-7B 面向智能家居视觉理解，尺寸较小，便于私有化；MiMo-V2-Flash 是 309B-A15B MoE，强调代码和 Agent 性能。
| 模型 | 体验备注 |
| ------------------------ | -------------------- |
| Xiaomi-MiMo-VL-Miloco-7B | 智能家居视觉模型，适合边缘或私有部署 |
| MiMo-V2-Flash | 快速 Coding 与 Agent 模型 |
### LongCat
LongCat-Flash 是 560B-A27B MoE，并延伸到图像和视频模型。现阶段通用语言能力需要与同价位的 Qwen、MiMo、GLM 和 MiniMax 做真实业务对照，重点看输出成本是否能转化为更低返工率。
## GPT-OSS 与 Gemma：研究和端侧路线
### GPT-OSS
GPT-OSS 展示了稀疏注意力、原生 MXFP4 和在思考过程中调用工具等设计。它更适合作为研究、教学和推理框架适配对象，而不是默认的中文生产模型。
| 模型 | 体验备注 |
| ------------ | --------------------------- |
| gpt-oss-20b | 原生 MXFP4，尺寸小、速度快，适合实验和日常轻任务 |
| gpt-oss-120b | 参数更大，但幻觉和收益不一定随规模改善，需要严格实测 |
### Gemma
Gemma 3 在海外社区拥有较成熟的微调生态，并提供 QAT 权重。量化感知训练版本在低精度下通常比传统训练后量化更容易保持能力，适合显存有限的 HomeLab 和端侧部署。
| 模型 | 典型用途 |
| -------------- | ---------------- |
| gemma-3-1b-it | 极轻量端侧实验 |
| gemma-3-4b-it | 端侧文本与轻量视觉任务 |
| gemma-3-12b-it | 中等规模本地多模态应用 |
| gemma-3-27b-it | 对能力要求更高的本地视觉语言任务 |
医疗微调的 MedGemma、端侧方向的 Gemma 3n 和其他变体应单独评估许可证、数据边界和领域可靠性。
## 日常选型建议
| 场景 | 建议优先测试 |
| ----------- | ----------------------------------------------- |
| 低成本通用 API | DeepSeek V4 Flash、Qwen 3.5/3.6 Flash 类模型 |
| 高难代码与 Agent | GLM-5.1、Kimi K2.6、DeepSeek V4 Pro、MiniMax-M2 系列 |
| 本地 Coding | Qwen3.6-35B-A3B、Qwen3-Coder-30B-A3B、GLM Air 系列 |
| 本地视觉 | Qwen3-VL、Gemma 3、MiMo-VL |
| 长上下文工作流 | DeepSeek V4、Kimi K2.5/2.6、Qwen Next |
| 高吞吐工具调用 | MiniMax-M2、Qwen MoE、MiMo-V2-Flash |
| 私有化 RAG | Qwen、GLM Air、DeepSeek 的合适量化版本 |
这里的“优先测试”不是最终推荐。同一模型在官方 API、第三方推理、不同量化版本和不同系统提示词下可能表现得像不同产品。
## 建立自己的评估集
从历史工单、代码修改、文档问答和失败案例中抽取 30 到 100 个代表性任务。不要只使用公开榜单题目。
固定模型版本、温度、最大输出、系统提示词、工具定义、量化精度和上下文材料。
除了正确率，还要记录输入输出 Token、缓存命中、首 Token 延迟、总耗时、重试次数和人工修复时间。
对关键任务重复运行，观察格式漂移、偶发幻觉、工具误调用和高峰期限流。
让便宜模型处理可验证任务，高能力模型处理复杂任务，并为高风险结果增加人工或程序校验。
## 总结
开源模型已经覆盖通用问答、Coding、Agent、视觉、端侧和长上下文等主要场景。DeepSeek 提供高性价比基准，Qwen 提供最完整的模型矩阵，GLM、MiniMax 和 Kimi 在 Coding Agent 上形成竞争，MiMo、Hunyuan 和 LongCat 更强调产业生态，Gemma 与 GPT-OSS 则提供端侧和研究价值。
真正有效的选型不是寻找一个永远最强的模型，而是建立可重复的评估集，并根据任务难度、数据边界、响应时间和总成本进行路由。