示意稿 · 仅用于版式 · 所有数字均为示意
发布墨子-V1.0-Flash
我们在科学与工程上最强的模型。能借助你的工具连续工作数小时,也会标出自己没把握的地方。
今天我们发布墨子-V1.0-Flash。客户最常找我们做的几类工作,它都更进一步:产线根因分析、硬件设计验证,以及要跨多个工具、翻好几天数据的长时间排查。
它即日起可在墨子应用、API 和墨子 Code 中使用。
基准测试表现
得分,%。越高越好。
- 墨子-V1.0-Flash
- 模型 A
- 模型 B
78.6
61.2
57.8
84.1
83.0
79.4
91.3
88.7
85.1
68.4
70.2
63.5
81.7
69.3
64.0
| 基准测试 | 墨子-V1.0-Flash | 模型 A | 模型 B |
|---|---|---|---|
| SemiBench | 78.6 | 61.2 | 57.8 |
| GPQA Diamond | 84.1 | 83 | 79.4 |
| AIME 2025 | 91.3 | 88.7 | 85.1 |
| SWE-bench Verified | 68.4 | 70.2 | 63.5 |
| VerilogEval v2 | 81.7 | 69.3 | 64 |
- SemiBench
- 78.6
- 比第二名模型高 17.4
- 校准误差
- 3.1 %
- 期望校准误差(ECE)
- 智能体最长运行时长
- 7 h
- 无人值守完成良率排查
- 单任务 token 数
- −38 %
- 与上一代模型得分相同
思考,预算由你来定
模型先思考再回答,想多久由你定:快速核对用几千个 token,复杂推导用几万个。得分随预算上升,到一定程度后趋于平稳。
不同思考预算下的得分
墨子-V1.0-Flash,得分 %,思考 token 数为对数刻度
- AIME 2025
- SemiBench
- GPQA Diamond
| 思考预算 | AIME 2025 | SemiBench | GPQA Diamond |
|---|---|---|---|
| 1K | 62 | 55.1 | 70.3 |
| 2K | 71.4 | 60.8 | 74.2 |
| 4K | 79.8 | 66.9 | 77.9 |
| 8K | 85.2 | 71.5 | 80.6 |
| 16K | 88.6 | 75 | 82.5 |
| 32K | 90.7 | 77.6 | 83.6 |
| 64K | 91.3 | 78.6 | 84.1 |
借助你的工具,长时间工作
它会自己查数据系统、跑分析,把结果写成报告。动手前先列一份计划,边做边用证据核对;凡是会改动真实系统的步骤,都会先停下来问你。
“它自己跑完了夜班的异常复盘,早上留给我们三个按可能性排好的假设,每个都附上了核对用的图。其中两个是对的。”
工程上的提升最大
提升最大的是 SemiBench 和硬件代码。这两项的题目由晶圆厂、设备商和设计团队的工程师出题、评分。通用知识上,它与其他前沿模型持平。
完整结果
得分,%。每行最高分已标出。
| 基准 | 墨子-V1.0-Flash | 模型 A | 模型 B |
|---|---|---|---|
| 科学与工程 | |||
| SemiBench1 | 78.6 | 61.2 | 57.8 |
| SemiBench · yield1 | 74.2 | 55.6 | 52.3 |
| GPQA Diamond | 84.1 | 83.0 | 79.4 |
| MMLU-Pro | 85.0 | 86.2 | 83.7 |
| 推理与数学 | |||
| AIME 20252 | 91.3 | 88.7 | 85.1 |
| HMMT Feb 20252 | 78.0 | 76.4 | — |
| 代码与智能体 | |||
| SWE-bench Verified3 | 68.4 | 70.2 | 63.5 |
| VerilogEval v2 | 81.7 | 69.3 | 64.0 |
| Terminal-Bench3 | 47.5 | 49.1 | 41.2 |
| τ²-bench · retail | 82.3 | 80.9 | 77.5 |
知道自己哪里没把握
每个回答都附一个经过校准的置信度。没把握的部分会标出来,你可以先核对这几处。
SemiBench 开放分析题上的校准
模型给出的置信度与实际准确率
- 期望校准误差(ECE)
- 3.1 %
- 已评分回答数
- 8,500
墨子说九成有把握时,十次里大约对九次。回答里没把握的部分会被标出来,让你先核对。
| 置信度 | 准确率 | 回答数 |
|---|---|---|
| 5 % | 7 % | 120 |
| 15 % | 13 % | 180 |
| 25 % | 22 % | 240 |
| 35 % | 33 % | 310 |
| 45 % | 47 % | 390 |
| 55 % | 52 % | 520 |
| 65 % | 62 % | 760 |
| 75 % | 73 % | 1120 |
| 85 % | 86 % | 1840 |
| 95 % | 93 % | 3020 |
安全
发布前我们做了自动化审计、专家红队测试和智能体安全测试;我们不擅长的部分,请外部专家参与。完整结果见模型卡。
不当行为发生率
越低越好
- 墨子-V1.0-Flash 1.8 %
- 模型 A 3.9 %
- 模型 B 5.2 %
4,800 个自动审计场景中,出现欺骗、蓄意破坏或绕过审批的比例。越低越好。
- 智能体绕过审批率
- 采取缓解措施后,2,000 个测试场景中占 0.02%
- 工具返回内容中的提示注入
- 攻击成功率 4.1%,此前为 11.6%
- 化学与生物风险
- 与网络搜索相比无明显提升
- 迎合用户
- 在 3.3% 的情况下附和错误前提
示意数据
可用性与价格
- 模型 ID
- micius-v1.0-flash
- 参数量
- 27B
- 上下文窗口
- 256K tokens
- 最大输出
- 32K tokens
- 输入
- ¥4.5 / 1M tokens
- 输出
- ¥18 / 1M tokens
- 可用渠道
- 墨子应用、API、墨子 Code、私有化部署
延伸阅读
注释
- SemiBench:2,400 道题,由工艺、器件、设备、良率四个方向的工程师出题并评分。单次作答,思考预算取默认值。
- 数学:每题采样 16 次取平均,思考预算 64K,不使用工具。
- 智能体编程:在我们的工具环境中作答,可用 bash 和文件编辑;5 次运行取平均。
- 模型 A 与模型 B 为其他前沿模型,由我们通过其公开 API 在同一套评测框架下测得。本示意稿中不列名称。