README_zh.md

June 17, 2026 · View on GitHub

One-Eval Logo

Python License Repo Size ArXiv

Ask DeepWiki WeChat Group

✨ 一句话，实现模型评估 ✨


One-Eval 是一个面向大模型的自动化评测框架，核心目标是实现 NL2Eval：一句话从用户需求到优雅的模型评测报告。
项目基于 DataFlow 与 LangGraph 构建，用最简单直观的方式帮助你优雅地完成模型评测。

English | 简体中文

中文版演示

📰 1. 最新动态

  • [2026-06] 🧩 One-Eval 现已支持以 Skill 形式使用！
    无需启动前后端，直接在 Claude Code（或 Codex）中使用 One-Eval：把这个仓库丢给 Claude Code，即可开始评测。详见 快速开始 → 在 Claude Code 中使用。
  • [2026-03] 🎉 One-Eval (v0.1.0) 正式开源！
    我们发布了首个版本，支持从自然语言到评测报告的全链路自动化 (NL2Eval)。告别繁琐的手动脚本，让大模型评测像聊天一样简单、直观、可控。欢迎 Star 🌟 关注！

💡 为什么选择 One-Eval？

以往的模型评测框架通常需要用户自行寻找 Benchmarks、下载数据，并手动填写大量配置参数。
One-Eval 旨在改变这一现状：凡是能自动做到的，都将交给 Agent 自动完成。从基准推荐到模型评测，我们致力于提供最直接、直观的评测体验。

🔍 2. 项目概览

传统评测往往面临脚本繁杂、流程割裂、难以复用的痛点。One-Eval 将评测重构为图化执行过程 (Graph / Node / State)，致力于打造下一代交互式评测体验：

  • 🗣️ NL2Eval: 只需输入一段自然语言目标（例如“评估模型在数学推理任务上的表现”），系统自动解析意图并规划执行路径。
  • 🧩 全链路自动化: 自动完成基准推荐、数据准备、推理执行、指标匹配、打分与多维度报告生成。
  • ⏸️ 人机交互: 支持关键节点（如基准选择、结果复核）的中断与人工干预，便于根据反馈实时调整评测策略。
  • 📊 可扩展架构: 基于 DataFlow 的算子体系与 LangGraph 的状态管理，轻松集成私有数据集与自定义指标。

One-Eval Framework

⚡ 3. 快速开始

One-Eval 有两种相互独立的使用方式，任选其一即可：

  • 3.1 在 Claude Code 中使用 —— 零配置，粘贴一句话即可，最快上手。
  • 3.2 Web UI（前后端） —— 完整的交互式界面，需要先安装环境。

3.1 在 Claude Code 中使用

零配置。把下面这句话粘贴给 Claude Code（或 Codex 等任意 coding agent）即可：

请使用 https://github.com/OpenDCAI/One-Eval 中的 one-eval-skill 来让我们开始评测模型。

3.2 Web UI（前后端）

完整的 Web UI，采用前后端分离架构。

第 1 步：安装环境

提供 Conda 与 uv 两种环境管理方式，任选其一：

# 方式 A: Conda
conda create -n one-eval python=3.11 -y
conda activate one-eval
pip install -e .

# 方式 B: uv
uv venv
uv pip install -e .

第 2 步：启动后端 (FastAPI)

uvicorn one_eval.server.app:app --host 0.0.0.0 --port 8000

第 3 步：启动前端 (Vite + React)

cd one-eval-web
npm install
npm run dev

访问 http://localhost:5173 即可开始交互式评测。

启动后应先进入设置界面，配置API、模型以及HF Token等参数（以支持批量下载数据），并点击保存。

One-Eval 内置了丰富的 Bench Gallery，用于统一管理各类评测基准的元信息（如任务类型、数据格式、Prompt 模板）。

目前已涵盖主流纯文本能力维度（无需复杂沙盒环境）：

  • 🧮 Reasoning: MATH, GSM8K, BBH, AIME...
  • 🌐 General Knowledge: MMLU, CEval, CMMLU...
  • 🔧 Instruction Following: IFEval...

Bench Gallery

🚀 5. 未来规划 (Future Work)

我们计划在未来继续维护并从以下方向更新 One-Eval：

  • 💻 支持复杂评测场景: 扩展对 Code、Text2SQL 等需要额外执行环境的 LLM 评测领域的支持。
  • 🤖 Agentic 评测与沙盒环境: 支持基于复杂沙盒环境的 Agentic 领域评测（如 SWE-bench 等）。
  • 🌐 在线社区与平台部署: 部署在线评测平台，支持用户讨论交流、构建私有 Benchmark，并实现共享与复用。

🙌 加入我们: 我们非常欢迎志同道合的 Co-worker 共同参与 One-Eval 的开源建设！您可以直接联系我们进行共同开发，我们非常支持您在不同方向上探索并形成自己的产出（例如合作投稿 Paper 等）。

📮 6. 联系与引用

如果您对本项目感兴趣，或有任何疑问与建议，欢迎通过 Issue 或加入微信群与我们联系。

• 📮 GitHub Issues：提交 Bug 或功能建议。

• 🔧 GitHub Pull Requests：贡献代码改进。

Citation

@misc{shen2026oneevalagenticautomatedtraceable,
      title={One-Eval: An Agentic System for Automated and Traceable LLM Evaluation}, 
      author={Chengyu Shen and Yanheng Hou and Minghui Pan and Runming He and Zhen Hao Wong and Meiyi Qiang and Zhou Liu and Hao Liang and Peichao Lai and Zeang Sheng and Wentao Zhang},
      year={2026},
      eprint={2603.09821},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2603.09821}, 
}

@article{liang2025dataflow,
  title={DataFlow: An LLM-Driven Framework for Unified Data Preparation and Workflow Automation in the Era of Data-Centric AI},
  author={Liang, Hao and Ma, Xiaochen and Liu, Zhou and Wong, Zhen Hao and Zhao, Zhengyang and Meng, Zimo and He, Runming and Shen, Chengyu and Cai, Qifeng and Han, Zhaoyang and others},
  journal={arXiv preprint arXiv:2512.16676},
  year={2025}
}

Partner 1 Partner 2