ChartArena

面向图表族系、视觉场景与输出格式的综合性双语通用图表解析基准

English • 论文 • GitHub 仓库 • HuggingFace 数据集 • ModelScope 数据集

新闻

• [2026.07.07] 🚀 我们新增了评测模型，覆盖更大范围的参数量与模型族系，并同步更新了 arXiv 论文，欢迎查看！
• [2026.06.01] 📖 代码和数据已发布！

概览

ChartArena 是一个面向视觉语言模型图表解析（chart parsing）能力评测的综合性双语基准，覆盖了实际场景中图表的完整难度谱系。它涵盖八类图表族系：既包括数值类图表（柱状图、折线图、饼图、雷达图、箱线图、组合图），也包括结构类图表（流程图、思维导图），每一类都呈现在三种视觉场景（电子渲染、印刷照片、手绘照片）和两种语言（中文与英文）之下。

为了在输出格式互不兼容的模型之间实现公平比较，ChartArena 采用了一套格式无关的评测协议：将异构的预测结果归一化到两个标准语义空间：数值类图表的三元组视图（triple view）与结构类图表的有向图视图（directed graph view），并使用结构感知的指标进行评分。

任务覆盖对比

与现有的图表解析基准相比，ChartArena 在图表类型、视觉场景和语言三个维度上提供了最全面的覆盖，从而支持对图表解析进行真实且全面的评测。

目录

• 基准统计
• 排行榜
• 任务定义
• 快速开始
• 引用
• 许可证

基准统计

排行榜

我们评测了 26 个模型，涵盖通用多模态大模型、文档解析专用模型和图表专家模型三类。以 mAP$_{high}$ 为主要指标，分别报告 EN（英文）和 ZH（中文）得分，每个得分均在三种视觉场景上取平均。各类别内加粗表示该列最优结果。

任务定义

ChartArena 将图表分为三大类，每类对应一个默认提取任务：

评分指标：mAP（map_strict / map_slight / map_high）和 EM（精确匹配）。

快速开始

1. 环境安装

git clone <this-repo>
cd ChartArena
pip install -r requirements.txt
# 可选：仅当使用 --api_type local_vllm 时需要
pip install vllm

2. 下载评测数据

数据（jsonl + 图片）以单一压缩包发布。请将其解压到 data/ 目录下：

data/
├── ChartArena.jsonl
└── images/...

jsonl 每一行的格式如下：

{
  "img_path": "images/xxx.png",
  "chart_type": "柱状图",
  "img_type": "电子印刷",
  "lang_type": "中文",
  "anno": "..."
}

img_path 是相对于 data/ 目录的相对路径，在整个流程中作为唯一主键使用。

3. 推理（Inference）

通过 --api_type 切换两种后端：openai_compat 支持任意 OpenAI 兼容 HTTP 服务（本地部署或公有云接口），local_vllm 支持进程内直接加载本地权重。推理支持断点续推，中断后重新运行同一命令会自动跳过已完成的样本。

python infer.py \
    --api_type openai_compat \
    --model_name Qwen2.5-VL-72B-Instruct \
    --base_url http://127.0.0.1:8000/v1 \
    --api_key EMPTY \
    --max_workers 64

python infer.py \
    --api_type local_vllm \
    --model_path /path/to/Qwen2.5-VL-72B-Instruct \
    --tensor_parallel_size 4 \
    --max_model_len 32768

# 数值类图表同时跑 SE_MD 和 SE_JSON，流程图跑 SE_MERMAID
python infer.py --api_type openai_compat --model_name ... --base_url ... \
    --task_data SE_MD SE_JSON \
    --task_flowchart SE_MERMAID

infer_outputs/<model_tag>/results.jsonl

4. 评分（Judging）

# 评分 infer_outputs/ 下的全部模型
python judge.py

# 只评分指定模型
python judge.py --models Qwen2.5-VL-72B-Instruct gemini-2.5-pro

# 强制重评某个任务（评分算法升级后刷新历史结果）
python judge.py --force_rejudge SE_MERMAID

输出到 judge_outputs/<model_tag>/results.jsonl。评分阶段为纯规则计算，速度很快。

5. 分析报表（Analysis）

python analyze.py
# → judge_outputs/results_analysis.xlsx

分数保留 3 位小数（例如 0.873）。

6. 完整流程示例

# 1. 推理
python infer.py \
    --api_type openai_compat \
    --model_name Qwen2.5-VL-72B-Instruct \
    --base_url http://127.0.0.1:8000/v1

# 2. 评分
python judge.py

# 3. 生成 Excel 报表
python analyze.py

7. 代码结构

代码库围绕三阶段流程（推理 → 评分 → 分析）组织，包含可插拔的 API 后端、各格式独立的评分模块以及共享的指标工具。

ChartArena/
├── README.md / README_zh.md
├── requirements.txt
├── data/                        # ← 数据下载到这里
├── infer_outputs/               # 推理结果（自动创建）
├── judge_outputs/               # 评分结果（自动创建）
├── apis/
│   ├── base.py                  # APIBase 抽象基类
│   ├── openai_compat.py         # OpenAI 兼容客户端
│   └── local_vllm.py            # 进程内 vLLM
├── methods/
│   ├── prompts.py               # prompt 模板
│   ├── context.py               # 上下文构建工具
│   ├── normalize.py             # 输出归一化
│   ├── scoring.py               # 评分入口
│   └── parsers/                 # 各格式输出解析器
├── metrics/
│   ├── SCRM.py                  # 核心 MAP / EM 指标
│   ├── tree_eval.py             # Markdown 列表评估
│   ├── mermaid_eval.py          # Mermaid 图表评估
│   ├── flowchart_common.py      # 流程图多格式评估
│   └── dsl_parsers/             # DSL 专项解析工具
├── utils/
│   ├── io.py                    # ResultWriter（线程安全增量写入器）
│   ├── signal_utils.py          # 友好响应 Ctrl+C
│   └── image_utils.py           # OpenAI 兼容 API 的 base64 编码
├── infer.py                     # 入口：推理
├── judge.py                     # 入口：规则评分
└── analyze.py                   # 入口：Excel 分析报表

引用

@article{peng2026chartarena,
  title   = {{ChartArena}: Benchmarking Chart Parsing across Languages, Scenarios, and Formats},
  author  = {Peng, Shangpin and Li, Gengluo and Wan, Xingyu and Zhang, Chengquan and Feng, Hao and Wu, Binghong and Shen, Huawen and Wang, Weinong and Cai, Ziyi and Tian, Zhuotao and Hu, Han and Ma, Can and Zhou, Yu},
  journal = {arXiv preprint arXiv:2606.01348},
  year    = {2026}
}

许可证

本基准仅供学术研究使用。