vision_kit 基准报告（REPORT.md）

由 python benchmark/eval.py 生成，勿手改；复现方式见 benchmark/README.md。

生成信息

• 模型：qwen3-vl-flash
• 样本数：12 张
• 平均调用次数：1.0（首轮贪心 + 采样补漏重试）
• 平均延迟：3.1417s

汇总指标

指标	值	说明
数值准确率	0.9722	与 ground truth 逐分量匹配比例
召回	10/10	识别出的标注名 / 全部标注名
幻觉数（总计）	0	识别出但 GT 中不存在的标注名
维度/引用一致性率	1.0	consistent=True 占比
几何自洽率	1.0	geo_checks 全通过占比
重试率	0.0	需要 ≥2 次模型调用的占比

逐图明细

id	type	数值准确率	召回	幻觉	一致	几何自洽	调用次数	延迟(s)
vec_para_01	向量图	1.00	3/3	0	✓	✓	1	3.53
vec_grid_01	向量图	1.00	3/3	0	✓	✓	1	1.74
tri_angles_01	几何图	1.00	0/0	0	✓	✓	1	4.17
tri_right_01	几何图	1.00	0/0	0	✓	✓	1	4.14
tri_sides_01	几何图	0.67	0/0	0	✓	✓	1	5.05
tri_angles_02	几何图	1.00	0/0	0	✓	✓	1	4.66
mat_2x2_01	矩阵图	1.00	1/1	0	✓	✓	1	1.21
mat_3x3_01	矩阵图	1.00	1/1	0	✓	✓	1	1.75
circ_01	几何图	1.00	0/0	0	✓	✓	1	4.62
coord_pts_01	几何图	1.00	0/0	0	✓	✓	1	1.93
grid_para_01	函数图	1.00	0/0	0	✓	✓	1	2.46
vec_matrix_combo_01	向量图	1.00	2/2	0	✓	✓	1	2.44

失败案例分析

• tri_sides_01：acc=0.6666666666666666，召回 0/0，幻觉 0，一致=✓，几何自洽=✓，调用 1 次

基线对比（单次贪心直出 vs 带校验 + 重试）

同一套图、同一套 prompt：基线 = 一次贪心调用直出（不重试、不校验），主链路 = engine.recognize（维度校验 + 几何自洽 + 采样补漏重试）。差值即确定性层的增益。

id	主链路 acc	基线 acc	主链路幻觉	基线幻觉	主链路调用
vec_para_01	1.00	1.00	0	0	1
vec_grid_01	1.00	1.00	0	0	1
tri_angles_01	1.00	1.00	0	0	1
tri_right_01	1.00	1.00	0	0	1
tri_sides_01	0.67	0.67	0	0	1
tri_angles_02	1.00	1.00	0	0	1
mat_2x2_01	1.00	1.00	0	0	1
mat_3x3_01	1.00	1.00	0	0	1
circ_01	1.00	1.00	0	0	1
coord_pts_01	1.00	1.00	0	0	1
grid_para_01	1.00	1.00	0	0	1
vec_matrix_combo_01	1.00	1.00	0	0	1

• 数值准确率：主链路 0.9722 vs 基线 0.9722（++0.0000）
• 幻觉标注数：主链路 0 vs 基线 0（0）
• 平均调用次数：主链路 1.0（含补漏重试）vs 基线 1.0