示意稿 · 仅用于版式 · 所有数字均为示意

公告

发布墨子-V1.0-Flash

我们在科学与工程上最强的模型。能借助你的工具连续工作数小时,也会标出自己没把握的地方。

今天我们发布墨子-V1.0-Flash。客户最常找我们做的几类工作,它都更进一步:产线根因分析、硬件设计验证,以及要跨多个工具、翻好几天数据的长时间排查。

它即日起可在墨子应用、API 和墨子 Code 中使用。

基准测试表现

得分,%。越高越好。

  • 墨子-V1.0-Flash
  • 模型 A
  • 模型 B
基准得分(%)
基准测试墨子-V1.0-Flash模型 A模型 B
SemiBench78.661.257.8
GPQA Diamond84.18379.4
AIME 202591.388.785.1
SWE-bench Verified68.470.263.5
VerilogEval v281.769.364
示意数据 默认思考预算,单次作答。悬停查看数值。
SemiBench
78.6
比第二名模型高 17.4
校准误差
3.1 %
期望校准误差(ECE)
智能体最长运行时长
7 h
无人值守完成良率排查
单任务 token 数
−38 %
与上一代模型得分相同

思考,预算由你来定

模型先思考再回答,想多久由你定:快速核对用几千个 token,复杂推导用几万个。得分随预算上升,到一定程度后趋于平稳。

不同思考预算下的得分

墨子-V1.0-Flash,得分 %,思考 token 数为对数刻度

  • AIME 2025
  • SemiBench
  • GPQA Diamond
不同思考预算下的得分
思考预算AIME 2025SemiBenchGPQA Diamond
1K6255.170.3
2K71.460.874.2
4K79.866.977.9
8K85.271.580.6
16K88.67582.5
32K90.777.683.6
64K91.378.684.1
示意数据 每一步预算翻倍。悬停查看数值。

借助你的工具,长时间工作

它会自己查数据系统、跑分析,把结果写成报告。动手前先列一份计划,边做边用证据核对;凡是会改动真实系统的步骤,都会先停下来问你。

“它自己跑完了夜班的异常复盘,早上留给我们三个按可能性排好的假设,每个都附上了核对用的图。其中两个是对的。”

某存储芯片制造商良率工程负责人 · 占位引语

工程上的提升最大

提升最大的是 SemiBench 和硬件代码。这两项的题目由晶圆厂、设备商和设计团队的工程师出题、评分。通用知识上,它与其他前沿模型持平。

完整结果

得分,%。每行最高分已标出。

基准 墨子-V1.0-Flash模型 A模型 B
科学与工程
SemiBench1 78.661.257.8
SemiBench · yield1 74.255.652.3
GPQA Diamond 84.183.079.4
MMLU-Pro 85.086.283.7
推理与数学
AIME 20252 91.388.785.1
HMMT Feb 20252 78.076.4—
代码与智能体
SWE-bench Verified3 68.470.263.5
VerilogEval v2 81.769.364.0
Terminal-Bench3 47.549.141.2
τ²-bench · retail 82.380.977.5
示意数据 注释见文末。表中“—”表示未报告。

知道自己哪里没把握

每个回答都附一个经过校准的置信度。没把握的部分会标出来,你可以先核对这几处。

SemiBench 开放分析题上的校准

模型给出的置信度与实际准确率

期望校准误差(ECE)
3.1 %
已评分回答数
8,500

墨子说九成有把握时,十次里大约对九次。回答里没把握的部分会被标出来,让你先核对。

不同置信度区间的校准
置信度准确率回答数
5 %7 %120
15 %13 %180
25 %22 %240
35 %33 %310
45 %47 %390
55 %52 %520
65 %62 %760
75 %73 %1120
85 %86 %1840
95 %93 %3020
示意数据 按置信度分十档。点落在对角线上,说明置信度与实际准确率一致。

安全

发布前我们做了自动化审计、专家红队测试和智能体安全测试;我们不擅长的部分,请外部专家参与。完整结果见模型卡。

不当行为发生率

越低越好

  • 墨子-V1.0-Flash 1.8 %
  • 模型 A 3.9 %
  • 模型 B 5.2 %

4,800 个自动审计场景中,出现欺骗、蓄意破坏或绕过审批的比例。越低越好。

示意数据 自动化行为审计,所有模型使用同一套评测框架。
智能体绕过审批率
采取缓解措施后,2,000 个测试场景中占 0.02%
工具返回内容中的提示注入
攻击成功率 4.1%,此前为 11.6%
化学与生物风险
与网络搜索相比无明显提升
迎合用户
在 3.3% 的情况下附和错误前提

示意数据

可用性与价格

模型 ID
micius-v1.0-flash
参数量
27B
上下文窗口
256K tokens
最大输出
32K tokens
输入
¥4.5 / 1M tokens
输出
¥18 / 1M tokens
可用渠道
墨子应用、API、墨子 Code、私有化部署

注释

  1. SemiBench:2,400 道题,由工艺、器件、设备、良率四个方向的工程师出题并评分。单次作答,思考预算取默认值。
  2. 数学:每题采样 16 次取平均,思考预算 64K,不使用工具。
  3. 智能体编程:在我们的工具环境中作答,可用 bash 和文件编辑;5 次运行取平均。
  4. 模型 A 与模型 B 为其他前沿模型,由我们通过其公开 API 在同一套评测框架下测得。本示意稿中不列名称。