用户分享
科技行业四个主流模型的典型场景能力评测
科技行业四模型评测结果分享
2026年5月11日
73 次阅读
admin
模测 · 模型评测报告
科技行业评测集
xiaomi/mimo-v2.5 vs deepseek-v4-pro vs glm-5 vs claude-4.6-sonnet
01
决策卡
选型结论,快速参考推荐选型
基于全任务表现综合评估
claude-4.6-sonnet
在技术支持多轮对话任务中输出最具可执行性与深度,尤其在复杂故障排查场景下提供了完整的根因分析与修复步骤。虽然平均延迟 6362ms 高于 Deepseek,但质量优势显著。
📝 复杂任务准确率 95%
✅ 格式合规 90%
🎯 可执行性极强
适用速查
- ✓技术支持自动化
- ✓复杂工单处理
- ✓高质量内容生成
- ✗对延迟极度敏感的简单分类场景
02
内容质量综合评估
基于真实输出的多维度评分(0-100)Claude 在样本 35 中提供了完整的根因分析与修复步骤,显著优于其他模型;且在样本 20 意图识别准确,而 Xiaomi 出现分类错误。Deepseek 速度最快但支持任务细节不足。
claude-4.6-sonnet
92 /100
准确性
90
完整性
95
格式合规
90
可执行性
95
相关性
95
优势 STRENGTHS
✓多轮对话提供完整根因分析与修复步骤,可执行性极强样本 35
不足 WEAKNESSES
⚠意图识别样本 11 分类标签与预期标准存在细微偏差样本 11
deepseek-v4-pro
88 /100
准确性
90
完整性
80
格式合规
95
可执行性
85
相关性
95
优势 STRENGTHS
✓平均延迟最低且意图识别准确,响应速度极具优势样本 20
不足 WEAKNESSES
⚠技术支持任务回复较为简略,缺乏详细排查步骤样本 33
glm-5
82 /100
准确性
90
完整性
90
格式合规
70
可执行性
85
相关性
90
优势 STRENGTHS
✓技术要点生成内容详细,关键信息加粗突出清晰样本 7
不足 WEAKNESSES
⚠信息抽取任务使用中文键名,格式合规性严重不足样本 43
xiaomi/mimo-v2.5
80 /100
准确性
85
完整性
80
格式合规
90
可执行性
80
相关性
90
优势 STRENGTHS
✓情感分析任务理由充分,能够平衡正反两面观点样本 28
不足 WEAKNESSES
⚠技术问题意图识别样本 20 分类错误,准确性待提升样本 20
分任务质量得分
xiaomi/mimo-v2.5
deepseek-v4-pro
glm-5
claude-4.6-sonnet
技术要点生成
80
85
88
90
技术问题意图识别
70
90
90
85
用户产品评价情感分析
90
90
90
95
技术支持多轮对话
80
85
85
95
工单/日志信息抽取
85
95
70
90
★ 任务最佳
≥ 90
80-89
70-79
60-69
< 60
03
典型样本对比
基于内容质量的差异分析
样本11 · 技术问题意图识别 · 考察:综合表现
输入: 用户消息:「登录后页面一直转圈,Network 标签页看到 /api/v1/user/profile 返回 504 Gateway Timeout,过了 30 秒才报错。」 请识别用户意图,从以下类别选择:[Bug 报告, 功能咨询, 需求建议, 集成对接, 账户问题, 性能问题]
📝 内容观察:claude-4.6-sonnet 内容更详尽(61字 vs 8字)
**性能问题** /api/v1/user/profile 接口响应超时(504),属于后端响应延迟/超时的性能类故障。
✓ 回答直接(响应 4229ms)
[Bug 报告]
△ 回答过于简略(8字 vs 对方61字)(响应 46557ms,约慢 11.0 倍)
样本35 · 技术支持多轮对话 · 考察:综合表现
输入: 以下是数据同步异常处理对话,请扮演技术支持回复用户最后一条消息:
用户:「我们用你们的 CDC 同步 MySQL 到 ES,昨天发现部分数据没同步过去。」
支持:「好的,我们排查下。请问大概有多少数据缺失?是某个时间段的还是某个表的?」
用户:「初步看,昨天下午 2-4 点写入 MySQL 的订单表数据,ES 里少了大概 1500 条。」
支持:「请提供:(1) CDC 任务的运行日志(关键看 b...
📝 内容观察:claude-4.6-sonnet 输出结构化(含标题/列表),xiaomi/mimo-v2.5 为纯文本;claude-4.6-sonnet 内容更详尽(566字 vs 198字)
**根本原因**:14:23 的 connection reset 触发自动重连,但重连后 binlog position 未从断点续传,而是跳过了部分 binlog event,导致这段时间的写入事件丢失。 **确认方式**: 检查 CDC 任务重连后的起始 binlog position,与 14:23 断开前的 position 是否连续: ```sql SHOW BINLOG EVENTS IN 'mysql-bin.000234' FROM <断开前position> LIMIT 100; ``` 对比丢失的 1487 条是否集中在该 position 区间内。 **修复步骤**: 1. 确认丢失数据的 binlog position 范围(14:23 前后各取一个锚点) 2. 用 `mysqlbinlog` 解析该范围内订单表的 INSERT/UPDATE 事件,导出为 JSON 3. 批量写入 ES,注意用 `_id` 做幂等写入避免重复 4. 写入后再次对比 doc_count **后续防止重现**:在 CDC 任务配置中启用 `exactly-once` 模式,并将 binlog position checkpoint 持久化到外部存储(如 ZooKeeper/数据库),而非仅保存在内存中。
✓ 结构清晰,分点呈现,含代码/表格示例(响应 13106ms)
根据日志,14:23 的 connection reset 是问题原因。虽然自动重连成功,但重连期间可能丢失了 binlog 事件。 **解决方案:** 检查重连后 CDC 任务的起始 binlog position 是否与断开前一致。如果不一致,需要从断点位置重新回放缺失的 binlog 数据到 ES。 请提供重连成功后的 CDC 任务日志,确认重连时的 binlog position。
△ 回答过于简略(198字 vs 对方566字),缺少结构化排版,措辞含糊(响应 8925ms)
样本33 · 技术支持多轮对话 · 考察:综合表现
输入: 以下是 SaaS SSO 集成对话,请扮演技术支持回复用户最后一条消息:
用户:「我们公司想接入你们的 SSO,用 Okta 做 IDP。」
支持:「我们支持 SAML 2.0 和 OIDC,您倾向哪个?Okta 两个都支持。」
用户:「SAML 2.0,我们其他系统用的都是 SAML。」
支持:「好的,需要您从 Okta 提供:(1) IDP Metadata XML 或 SSO URL + E...
📝 内容观察:claude-4.6-sonnet 输出结构化(含标题/列表),glm-5 为纯文本;claude-4.6-sonnet 内容更详尽(244字 vs 80字)
两个方案: 1. **托管 XML**:把下载的 Metadata XML 上传到任意可公网访问的地址(如 GitHub Gist、S3、内部服务器),把该 URL 填入配置页。 2. **手动填写**:打开 XML 文件,提取以下三个字段手动填入: - `SingleSignOnService Location` → SSO URL - `entityID` → Entity ID - `X509Certificate` → 签名证书 两种方式均可完成配置。
✓ 结构清晰,分点呈现,含代码/表格示例(响应 5872ms)
请打开下载的 XML 文件,手动复制其中的 **SSO URL**、**Entity ID** 和 **X.509 证书**内容,粘贴到后台对应的配置项中即可。
△ 回答过于简略(80字 vs 对方244字),缺少结构化排版(响应 48220ms,约慢 8.2 倍)
04
业务匹配度分析
基于真实样本输出,刻画模型与业务的契合度3.1 输出风格画像
基于全量 40 条样本的实际输出,为每个模型刻画"性格画像"——这是技术指标无法呈现的、决定业务体验的关键维度。
claude-4.6-sonnet
行为模式
代表样本
—
副作用
deepseek-v4-pro
行为模式
代表样本
—
副作用
glm-5
行为模式
代表样本
—
副作用
xiaomi/mimo-v2.5
行为模式
代表样本
—
副作用
3.2 业务场景匹配矩阵
业务场景
xiaomi/mimo-v2.5
deepseek-v4-pro
glm-5
claude-4.6-sonnet
C 端用户实时咨询
—
—
—
—
技术支持自动化
—
—
—
—
工单意图分类
—
—
—
—
3.3 关键能力深度分析
📊
观察现象
glm-5 输出中文 JSON 键名
📊
观察现象
claude-4.6-sonnet 提供具体 SQL 与配置项
📊
观察现象
deepseek-v4-pro 仅用 96 Token 完成意图识别
05
错误模式与风险
无功能性错误,但存在工程风险
06
性能与成本 (参考)
全量 40 样本 × 4 模型 = 160 条记录
⚠ 注意:本节性能指标(延迟、Token、成功率)受网络环境、网关限流、服务商水位等外部因素影响,不应作为模型选型的主要依据。请优先参考"决策卡"与"内容质量综合评估"。
| 指标 | xiaomi/mimo-v2.5 | deepseek-v4-pro | glm-5 | claude-4.6-sonnet |
|---|---|---|---|---|
| 成功率 | 100.0% | 100.0% | 100.0% | 100.0% |
| 均值延迟 | 14895ms4.2× | 3554ms基线 1.0× | 20003ms5.6× | 6362ms1.8× |
| P50 延迟 | 11758ms | 2625ms | 15690ms | 5289ms |
| P95 延迟 | 30445ms | 8410ms | 41971ms | 13106ms |
| 均输出 Token | 342 tok3.6× | 96 tok基线 1.0× | 747 tok7.8× | 150 tok1.6× |
| 均输入 Token | 231 tok | 202 tok | 213 tok | 342 tok |
| TTFT | — 原始数据未披露此项 | |||
注: 以延迟最优方案
deepseek-v4-pro 为基线(1.0×)。响应延迟受网络环境、服务端负载、并发情况等多重因素影响,仅供横向参考。
可视化分析 · 延迟分布 / Token 消耗
延迟分布(均值 / P50 / P95)
单位:毫秒;长尾延迟比均值更影响用户体验
均值
P50
P95
平均输出 Token 对比
低值 = 信息密度高、成本低
关键洞察: glm-5 输出量是 deepseek-v4-pro 的 7.8 倍。在成功率相同前提下,Token 冗余直接转化为延迟与成本损失。
任务 × 模型 延迟矩阵
技术要点
生成
n=10
生成
n=10
技术问题
意图识别
n=9
意图识别
n=9
用户产品
评价情感
分析
n=9
评价情感
分析
n=9
技术支持
多轮对话
n=10
多轮对话
n=10
工单/日
志信息抽
取
n=2
志信息抽
取
n=2
xiaomi/mimo-v2.5
16447ms
14492ms
12218ms
13848ms
26221ms
deepseek-v4-pro
3065ms
3233ms
2675ms
4839ms
4970ms
glm-5
21947ms
19762ms
14164ms
24582ms
14750ms
claude-4.6-sonnet
5921ms
3445ms
4349ms
11848ms
3318ms
★ 本任务延迟最佳
< 10s
10-20s
20-40s
> 40s
洞察:
deepseek-v4-pro 在 4/5 类任务中延迟最优。
成本测算 · 基于 Token 输出量的相对比较
原始数据未提供厂商官方单价。以下基于输出 Token 量进行相对成本比较,假设输入 Token 成本一致,主要差异在于输出 Token。
| 模型 | 均输出 Token | 相对成本倍数 | 月度差异(假设 1 亿 Token) |
|---|---|---|---|
| deepseek-v4-pro ★ | 96 | 1.0× (基线) | 基线 |
| claude-4.6-sonnet | 150 | 1.6× | +56% |
| xiaomi/mimo-v2.5 | 342 | 3.6× | +256% |
| glm-5 | 747 | 7.8× | +678% |
结论: 若月度输出量为 1 亿 Token,glm-5 的输出成本理论上是 deepseek-v4-pro 的 7.8 倍。绝对成本需以厂商当期定价折算。
07
优化建议(P0/P1/P2)
工程 / Prompt / 评测方法
P0
禁止 glm-5 直接输出 JSON 到生产环境
避免下游系统解析失败
P1
意图识别路由层优先选用 deepseek-v4-pro
平衡延迟与质量
P2
补充 TTFT 与 P99 延迟评测
更准确评估用户体验波动
08
已知局限
点击展开评测任务清单
| 技术要点生成 | 样本数 10,均值延迟范围 3065-21947ms |
| 技术问题意图识别 | 样本数 9,均值延迟范围 3233-19762ms |
| 用户产品评价情感分析 | 样本数 9,均值延迟范围 2675-14164ms |
| 技术支持多轮对话 | 样本数 10,均值延迟范围 4839-24582ms |
| 工单/日志信息抽取 | 样本数 2,均值延迟范围 3318-26221ms |
原始延迟数据汇总
| 模型 | 均值延迟 | P50 | P95 |
|---|---|---|---|
| xiaomi/mimo-v2.5 | 14895ms | 11758ms | 30445ms |
| deepseek-v4-pro | 3554ms ★ | 2625ms | 8410ms |
| glm-5 | 20003ms | 15690ms | 41971ms ⚠ |
| claude-4.6-sonnet | 6362ms | 5289ms | 13106ms |
已知局限(共 5 条)
- 原始数据未提供 TTFT 指标
- 原始数据未提供 P99 延迟
- 原始数据未提供模型官方单价
- 原始数据未披露评测平台与 Judge 方法
- 样本量 40 对于长尾场景覆盖可能不足