M 模测 › 案例集 › 软件行业评测0513-pro系列 返回案例集
用户分享

软件行业评测0513-pro系列

看到他们的这些人格,忍不住想笑

2026年5月14日 120 次阅读
模型人格
模测 · 模型评测报告

科技行业评测集

qwen3.6-plus vs deepseek-v4-pro vs gemini-2.5-pro
样本量 · 30 条
记录总数 · 90 条(30 × 3)
任务类型 · 5 类
整体成功率 · 100.0%(全方案)
1

决策卡

选型结论,快速参考
推荐选型
基于全任务表现综合评估
qwen3.6-plus
在复杂任务中输出结构最严谨且格式合规性最高,尤其在信息抽取任务中严格遵循英文键名规范。虽然平均延迟 34809ms 高于竞品,但质量优先场景下表现最佳。
📝 结构严谨 ✅ 格式合规 95% 🎯 可执行性强

适用速查

  • ✓复杂技术方案生成
  • ✓结构化数据抽取
  • ✓高质量客服对话
  • ✗低延迟实时交互场景
  • ✗对 Token 成本敏感任务
2

内容质量综合评估

基于真实输出的多维度评分(0-100)
在信息抽取任务中严格遵循英文键名格式(样本 43),多轮对话方案最具可执行性(样本 40)。虽技术要点分类略有偏差(样本 10),但整体结构最优。
qwen3.6-plus 90 /100
准确性
85
完整性
95
格式合规
95
可执行性
95
相关性
85
优势 STRENGTHS
✓结构化输出能力强,JSON 键名规范样本 43
✓多轮对话方案详细且具可执行性样本 40
不足 WEAKNESSES
⚠技术分类视角与预期存在偏差样本 10
⚠输出内容较长, Token 消耗偏高样本 1
deepseek-v4-pro 86 /100
准确性
90
完整性
85
格式合规
75
可执行性
90
相关性
90
优势 STRENGTHS
✓技术要点分类准确,响应速度快样本 10
✓意图识别准确且简洁样本 19
不足 WEAKNESSES
⚠抽取任务键名语言不符合规范样本 43
⚠部分任务输出细节略少于竞品样本 40
gemini-2.5-pro 84 /100
准确性
85
完整性
85
格式合规
75
可执行性
85
相关性
90
优势 STRENGTHS
✓响应延迟最低,交互体验流畅样本 43
✓情感分析理由充分且客观样本 30
不足 WEAKNESSES
⚠抽取任务键名语言不符合规范样本 43
⚠支持对话有时提供过多选项样本 38
分任务质量得分
技术要点生成
工单/日志信息抽取
技术支持多轮对话
qwen3.6-plus
88
95 ★
95 ★
deepseek-v4-pro
90 ★
75
90
gemini-2.5-pro
85
75
85
≥ 95 最佳 85-94 优秀 75-84 合格 60-74 一般 < 60 不达标 ★ 该任务最佳
3

典型样本对比

基于内容质量的差异分析
样本19 · 技术问题意图识别 · 考察:综合表现
输入
用户消息:「能否支持 SAML 2.0 的单点登录?我们企业用的是 Okta IDP,目前每次都要单独登录很麻烦。」 请识别用户意图,从以下类别选择:[Bug 报告, 功能咨询, 需求建议, 集成对接, 账户问题, 性能问题]
📝 内容观察:gemini-2.5-pro 输出结构化(含标题/列表),qwen3.6-plus 为纯文本;gemini-2.5-pro 内容更详尽(209字 vs 4字)
gemini-2.5-pro 5376ms
好的,根据用户消息分析:

*   **核心问题:** 用户询问产品是否支持 "SAML 2.0 单点登录"。
*   **具体场景:** 他们企业使用 "Okta" 作为身份提供商 (IDP),希望通过它来登录,解决每次都要单独输入账号密码的麻烦。
*   **意图分析:** 这涉及到将用户现有的系统 (Okta) 与我们的产品进行连接和打通,属于典型的系统集成场景。

因此,最合适的类别是: **集成对接**。
✓ 结构清晰,分点呈现(响应 5376ms)
qwen3.6-plus 41888ms
集成对接
△ 回答过于简略(4字 vs 对方209字),缺少结构化排版(响应 41888ms,约慢 7.8 倍)
样本18 · 技术问题意图识别 · 考察:综合表现
输入
用户消息:「你们免费版和专业版有什么区别?具体的 API 调用配额、并发限制、SLA 保障各是什么?」 请识别用户意图,从以下类别选择:[Bug 报告, 功能咨询, 需求建议, 集成对接, 账户问题, 性能问题]
📝 内容观察:gemini-2.5-pro 输出结构化(含标题/列表),qwen3.6-plus 为纯文本;gemini-2.5-pro 内容更详尽(32字 vs 4字)
gemini-2.5-pro 3263ms
好的,根据您的用户消息:

*   **用户意图:** 功能咨询
✓ 结构清晰,分点呈现(响应 3263ms)
qwen3.6-plus 19677ms
功能咨询
△ 回答过于简略(4字 vs 对方32字),缺少结构化排版(响应 19677ms,约慢 6.0 倍)
样本1 · 技术要点生成 · 考察:综合表现
输入
请说明 RESTful API 设计的3条核心原则。
gemini-2.5-pro 17235ms
当然,很乐意为您说明 RESTful API 设计的3条核心原则。

REST (Representational State Transfer,表现层状态转移) 是一种软件架构风格,而不是一个硬性标准。它的核心思想是**将服务器上的所有事物都视为“资源”(Resource)**,并通过统一的接口(HTTP 方法)对这些资源进行操作。

以下是 RESTful API 设计的3条核心原则:

---

### 1. 以资源为中心 (Resource-Oriented)

这是 RESTful 设计的基石。它要求我们将 API 的关注点从“动作”或“服务”转移到“资源”上。

*   **什么是资源?** 资源是网络上的一个实体,可以是一个对象(如用户、订单、商品)、一个文档、一张图片,甚至是一种服务。每个资源都应该有一个唯一的标识符。
*   **如何标识资源?** 使用统一资源标识符(URI,Uniform Resource Identifier)来唯一地指向一个资源。这个 URI 就像是资源的“地址”。
*   **设计要点:**
    *   **使用名词而不是动词**:URI 应该只包含名词,表示你正在操作的资源是什么。动词(操作)应该由 HTTP 方法来体现。
        *   **不推荐**: `/getUsers`, `/createUser`, `/deleteOrder?id=123`
        *   **推荐**: `/users`, `/users/1`, `/orders/123`
    *   **使用复数形式**:通常建议在 URI 中使用名词的复数形式来表示资源集合,这样更符合直觉。
        *   例如:`GET /users` 表示获取所有用户的列表。`GET /users/1` 表示获取 ID 为 1 的那个特定用户。

**简单来说:URL 定义了你要操作的“东西”,而不是你要做的“事情”。**

---

### 2. 统一接口 (Uniform Interface)

RESTful 架构通过一组预定义

... [中间省略 1240 字符] ...

该包含身份凭证(例如,在 HTTP Header 中携带 Token)。

**简单来说:服务器是“健忘”的,它处理完你的请求就忘了你是谁。你下次再来,需要重新自我介绍(携带完整信息)。**

---

### 总结

这三条核心原则共同构成了 RESTful API 的设计哲学:

| 原则 | 核心思想 | 示例 |
| :--- | :--- | :--- |
| **1. 以资源为中心** | 用名词 URI 定义操作的对象。 | `GET /orders/123` (获取订单123) |
| **2. 统一接口** | 用 HTTP 动词定义对资源的操作。 | `DELETE /orders/123` (删除订单123) |
| **3. 无状态** | 每个请求都独立,服务器不保存会话。 | 每次请求都携带 `Authorization: Bearer <token>` |

遵循这些原则,可以设计出清晰、可预测、易于理解和扩展的 API,极大地提升了系统的健壮性和可维护性。
✓ 结构清晰,分点呈现,含代码/表格示例(响应 17235ms)
qwen3.6-plus 100943ms
在 REST(Representational State Transfer)架构中,Roy Fielding 博士最初定义了 6 条约束。但在实际 API 设计与工程实践中,以下 **3 条被公认为最核心、最具指导意义的原则**:

### 1. 面向资源设计(Resource-Oriented)
- **核心思想**:API 的交互围绕“资源”展开,资源通过 URI 唯一标识,HTTP 方法直接映射对资源的操作。
- **设计要点**:
  - URI 使用**名词**(通常复数)表示资源,如 `/users`、`/orders/123/items`
  - 严格使用 HTTP 方法表达操作意图:`GET`(查询)、`POST`(创建)、`PUT`(全量更新)、`PATCH`(局部更新)、`DELETE`(删除)
  - **避免在 URL 中使用动词**(如 `/getUser`、`/createOrder` 不符合 REST 风格)
- **价值**:使接口结构清晰、可预测,降低学习成本,便于自动化文档生成与客户端 SDK 封装。

### 2. 统一接口(Uniform Interface)
- **核心思想**:所有资源交互遵循一致的规范,实现客户端与服务端的解耦。
- **设计要点**:
  - 标准化 HTTP 状态码语义(如 `200` 成功、`201` 创建成功、`400` 参数错误、`404` 资源不存在、`429` 限流、`500` 服务端异常)
  - 使用通用表示格式(如 `application/json`),请求/响应头自描述(`Content-Type`、`Accept`、`ETag` 等)
  - 响应体应返回完整资源或明确的操作结果,推荐支持 HATEOAS(超媒体驱动导航)
  - 错误响应保持统一结构(如包含 `code`、`message`、`details` 字段)
- **价值**:实现“一次学习,处处调用”,客户端无需了解后端技术栈即可正确交互,提升系统可维护性。

### 3. 无状态通信(Statelessness)
- **核心思想**:每个 HTTP 请求必须包含服务端处理所需的全部上下文信息,服务端**不保存**客户端会话状态。
- **设计要点**:
  - 认证/授权信息需随请求携带(如 `Authorization: Bearer <token>`)
  - 分页、过滤、排序等通过查询参数传递(如 `?page=2&size=20&status=active`)
  - 避免依赖 Session、Cookie 或隐式上下文(尤其在分布式/微服务架构中)
- **价值**:大幅提升系统的水平扩展能力、容错性与缓存效率,便于负载均衡与故障转移。

💡 **补充说明**:  
这三条原则相互支撑:`面向资源` 定义了“操作什么”,`统一接口` 定义了“如何操作”,`无状态` 定义了“操作时的通信规则”。它们共同实现了 REST 的核心优势:**简单性、可伸缩性、跨平台互操作性**。在实际工程中,可结合缓存约束(Cacheability)与分层架构(Layered System)进一步优化性能与安全。
△ 内容质量略逊(响应 100943ms,约慢 5.9 倍)
4

错误模式与风险

无功能性错误,但存在工程风险
错误类型 受影响模型 典型表现 工程缓解措施
格式规范偏差 deepseek-v4-pro gemini-2.5-pro Prompt 中显式强调 Key 必须为英文
长尾延迟过高 qwen3.6-plus 设置超时熔断
5

性能与成本 (参考)

全量 30 样本 × 3 模型 = 90 条记录
⚠ 注意:本节性能指标(延迟、Token、成功率)受网络环境、网关限流、服务商水位等外部因素影响,不应作为模型选型的主要依据。请优先参考"决策卡"与"内容质量综合评估"。
指标 qwen3.6-plus deepseek-v4-pro gemini-2.5-pro
成功率 100.0% 100.0% 100.0%
均值延迟 34809ms3.0× 19088ms1.6× 11768ms基线 1.0×
P50 延迟 35453ms 17159ms 7548ms
P95 延迟 62026ms 50859ms 24802ms
均输出 Token 1728 tok2.5× 696 tok基线 1.0× 801 tok1.2×
均输入 Token 89 tok 78 tok 81 tok
TTFT — 原始数据未披露此项
注: 以延迟最优方案 gemini-2.5-pro 为基线(1.0×)。响应延迟受网络环境、服务端负载、并发情况等多重因素影响,仅供横向参考。
可视化分析 · 延迟分布 / Token 消耗

延迟分布(均值 / P50 / P95)

单位:毫秒;长尾延迟比均值更影响用户体验
017.5s35.0s52.5s1.2m qwen3.6-plus P95 1.0m deepseek-v4-pro P95 50.9s gemini-2.5-pro P95 24.8s
均值 P50 P95

平均输出 Token 对比

低值 = 信息密度高、成本低
deepseek-v4-pro
696
gemini-2.5-pro
801
qwen3.6-plus
1728
关键洞察: qwen3.6-plus 输出量是 deepseek-v4-pro 的 2.5 倍。在成功率相同前提下,Token 冗余直接转化为延迟与成本损失。
任务 × 模型 延迟矩阵
技术要点生成
n=10
技术问题意图识别
n=6
用户产品评价情感分析
n=4
技术支持多轮对话
n=8
工单/日志信息抽取
n=2
qwen3.6-plus
49.3s
20.2s
12.4s
41.0s
26.2s
deepseek-v4-pro
34.1s
3627ms ★
3671ms ★
23.3s
4559ms
gemini-2.5-pro
20.3s ★
5002ms
4723ms
11.5s ★
4262ms ★
< 5s 最佳 5-10s 10-20s 20-40s > 40s ★ 该任务延迟最佳
洞察: gemini-2.5-pro 在 3/5 类任务中延迟最优。
成本测算 · 基于 Token 输出量的相对比较

原始数据未提供厂商官方单价。以下基于输出 Token 量进行相对成本比较,假设输入 Token 成本一致,主要差异在于输出 Token。

模型 均输出 Token 相对成本倍数 月度差异(假设 1 亿 Token)
deepseek-v4-pro ★ 696 1.0× (基线) 基线
gemini-2.5-pro 801 1.2× +15%
qwen3.6-plus 1728 2.5× +148%
结论: 若月度输出量为 1 亿 Token,qwen3.6-plus 的输出成本理论上是 deepseek-v4-pro 的 2.5 倍。绝对成本需以厂商当期定价折算。
6

优化建议(P0/P1/P2)

工程 / Prompt / 评测方法
P0
若选用 deepseek 或 gemini 进行信息抽取,必须在 Prompt 中强制约束 JSON Keys must be in English
避免下游系统解析错误
P1
针对 qwen3.6-plus 设置超时熔断机制 (建议阈值 50s)
防止 P95 延迟导致前端请求挂起
P2
改进评测方法,补充 TTFT 指标采集
更准确评估流式输出场景下的用户感知延迟
7

已知局限

点击展开
评测任务清单
技术要点生成样本数 10,均值延迟范围 20339-49332ms
技术问题意图识别样本数 6,均值延迟范围 3627-20214ms
用户产品评价情感分析样本数 4,均值延迟范围 3671-12384ms
技术支持多轮对话样本数 8,均值延迟范围 11527-40957ms
工单/日志信息抽取样本数 2,均值延迟范围 4262-26233ms
原始延迟数据汇总
模型 均值延迟 P50 P95
qwen3.6-plus34809ms35453ms62026ms ⚠
deepseek-v4-pro19088ms17159ms50859ms
gemini-2.5-pro11768ms ★7548ms24802ms
已知局限(共 5 条)
  1. 原始数据未提供 TTFT 指标
  2. 原始数据未提供 P99 延迟指标
  3. 原始数据未提供模型官方单价
  4. 部分任务样本量较小 (如工单抽取仅 2 个样本)
  5. 未进行多轮重复采样,单次调用延迟可能受网络波动影响
© 2025 ModTst. All rights reserved. 苏ICP备2026025231号-3 苏公网安备32059002007950号