LLMRouterBench

大规模 LLM 路由评测基准与统一框架

English | 中文

新闻 · 概述 · 实验结果 · 安装 · 快速开始 · 数据集 · 模型池 · 引用

新闻

• 2026 年 4 月：🎉🎉🎉 本文已被 ACL 2026 Findings 接收！

概述

LLMRouterBench 是一个大规模 LLM 路由评测基准与统一框架。我们整合了 21 个数据集、33 个模型的标准化输出，同时支持纯性能和性能-成本两种路由范式，并为 10 种代表性路由方法提供了开箱即用的适配器。

核心亮点

• 双路由范式: 纯性能 | 性能-成本权衡
• 前沿模型池: 20 个 7B 级轻量模型（Qwen3-8B、DS-Qwen3、NVIDIA-Nemo 等）+ 来自 8 家厂商的 13 个旗舰模型（GPT-5、Gemini-2.5-Pro、Claude-4、DeepSeek-V3.1 等）
• 多样化高难度数据集: 数学（AIME、LiveMathBench）、代码（LiveCodeBench、SWE-Bench）、逻辑（BBH、KORBench）、知识（HLE、SimpleQA）、情感（EmoryNLP、MELD）、指令遵循（ArenaHard）、工具使用（τ²-Bench）
• 代表性路由方法: RouterDC (NeurIPS'24)、EmbedLLM (ICLR'25)、MODEL-SAT (AAAI'25)、Avengers (AAAI'26)、HybridLLM (ICLR'24)、FrugalGPT (TMLR'24)、RouteLLM (ICLR'25)、GraphRouter (ICLR'25)、Avengers-Pro (DAI'25 最佳论文)、OpenRouter
• 数据收集成本: 约 1000 GPU 小时 + 3000 美元 API 开销
• 标准化数据字段（逐实例）: origin_query, prompt, prediction(raw output), ground_truth, score, prompt_tokens, completion_tokens, cost
• 模块化架构: Collector（统一 LLM API）→ Evaluator（数据集评分）→ Adaptor（算法格式适配）

关键发现

纯性能设置

没有哪个模型能在所有领域称霸，模型间呈现出明显的互补优势。 如下图所示，数学任务上 Intern-S1-mini、Qwen3-8B 表现更优，代码任务上 Qwen-Coder、Fin-R1 更胜一筹，这正是 LLM 路由的核心前提。

主流路由方法性能相近，但距离 Oracle 仍有明显差距。 我们将路由方法与三个基线对比：Random（随机选模型）、Best Single（平均准确率最高的单一模型）、Oracle（为每条查询选择最优模型，即理论上界）。核心指标：

• AvgAcc: 所有数据集的平均准确率
• Gain@R / Gain@B: 相对 Random / Best Single 的提升幅度
• Gap@O: 与 Oracle 的差距（越小越好）

尽管方法各异，主流路由器（EmbedLLM、GraphRouter、MODEL-SAT、Avengers）的表现趋于一致。值得一提的是，Avengers 无需神经网络训练即可达到同等水平。各方法与 Dataset Oracle（为每个数据集选最优模型，图中斜线柱）相近，说明当前路由收益主要来自粗粒度的领域区分。而与实例级 Oracle 之间仍存在显著 Gap@O，主因是 模型召回失败——当仅少数模型能答对时，路由器往往选不中。

性能-成本设置

有效路由能带来显著收益，但并非所有路由器都能做到。 性能-成本权衡的核心指标：

• PerfGain: 相对 Best Single 的最大性能提升（取最高准确率配置）
• CostSave: 在不低于 Best Single 准确率前提下的最大成本节省
• Pareto 前沿: 最优配置集合——不存在同时更便宜且更准的配置
• ParetoDist: 到 Pareto 前沿的平均距离（越小越好）

顶级方法可达 4% PerfGain 和 31.7% CostSave。但部分路由器（包括商业化的 OpenRouter）未能超越 Best Single。Avengers-Pro 以接近零的 ParetoDist 占据 Pareto 前沿。

相对于 GPT-5 的 PerfGain 和 CostSave。

准确率 vs. 成本及 Pareto 前沿。

更多发现（Embedding 消融实验、模型池规模影响、延迟分析等）详见论文。

原始数据表

安装

git clone https://github.com/ynulihao/LLMRouterBench.git
cd LLMRouterBench
pip install -r requirements.txt

快速开始

python -m data_collector.cli run \
    config/data_collector_small_model_config.yaml

from baselines import BaselineDataLoader, BaselineAggregator

loader = BaselineDataLoader("config/baseline_config.yaml")
records = loader.load_all_records()
agg = BaselineAggregator(records, data_loader=loader)
agg.print_summary_tables(
    score_as_percent=True,
    test_mode=False
)

python -m baselines.adaptors.avengerspro_adaptor \
    --config config/baseline_config.yaml \
    --seed 42 \
    --split-ratio 0.7 \
    --output-dir baselines/AvengersPro/data/small_models_seed_42

python -m baselines.AvengersPro.simple_cluster_router \
    --config baselines/AvengersPro/config/simple_config_small_models_42.json \
    --output baselines/AvengersPro/logs/simple_config_small_models_42.json

配置说明

LLMRouterBench 支持两种路由范式，分别对应不同配置文件：

核心组件

LLMRouterBench 采用模块化的三组件架构：

自定义

数据集

LLMRouterBench 涵盖 21 个数据集，分布于两种设置：

模型池

数据下载

LLMRouterBench 将标准化 JSON 记录存储于 results/bench/，并提供预收集结果的下载包：

# 解压到 results 目录
tar xzf bench-release.tar.gz

解压后的目录结构：

results/
└── bench/
    ├── aime/
    ├── bbh/
    ├── humaneval/
    ├── mmlu_pro/
    └── ...

详见 results/download.md

{
  "performance": 0.85,
  "time_taken": 120.5,
  "prompt_tokens": 50000,
  "completion_tokens": 20000,
  "cost": 0.15,
  "counts": 100,
  "records": [
    {
      "index": 1,
      "origin_query": "What is the sum of 2+2?",
      "prompt": "Question: What is the sum of 2+2?\nAnswer:",
      "prediction": "4",
      "ground_truth": "4",
      "score": 1.0,
      "prompt_tokens": 15,
      "completion_tokens": 5,
      "cost": 0.0001,
      "raw_output": "The sum of 2+2 is 4."
    }
  ]
}

from baselines import BaselineDataLoader, BaselineAggregator

loader = BaselineDataLoader('config/baseline_config.yaml')
records = loader.load_all_records()

test_mode = False
score_as_percent = True
train_ratio = 0.7
random_seed = 3407

agg = BaselineAggregator(records, data_loader=loader)
agg.print_summary_tables(
    score_as_percent=score_as_percent,
    test_mode=test_mode,
    random_seed=random_seed,
    train_ratio=train_ratio,
)

agg.save_summary_tables_to_excel(
    output_file='small_models_total.xlsx',
    score_as_percent=score_as_percent,
    test_mode=test_mode,
    train_ratio=train_ratio,
    random_seed=random_seed
)

项目结构

LLMRouterBench/
├── data_collector/     # Collector 模块
├── evaluation/         # Evaluator（21 个数据集）
├── baselines/          # Adaptor 与路由算法
├── generators/         # 模型 API 接口
├── common/cache/       # 缓存系统
├── external_bench/     # 第三方集成
├── config/             # 配置文件
└── results/            # 基准测试结果

🗓️ 路线图

近期更新

• ✅ 集成三个高难度基准（FrontierScience、SGIBench、SFE）
• ✅ 扩展多模态路由评测支持

长期目标

• 更广泛的模型覆盖
• 扩展基准测试集
• 更多基线方法
• 扩展路由范式

相关工作

与现有路由基准的对比

现有路由基准存在以下局限：

• RouterBench: 仅限早期模型和 8 个相对简单的数据集。
• EmbedLLM & RouterEval: 聚焦开源模型，缺乏推理成本信息。
• FusionFactory: 使用估计成本评测开源模型。
• RouterArena: 各路由器使用的模型池不一致，有碍公平对比，且缺乏逐 prompt、逐模型的数据。

引用

如果 LLMRouterBench 对您的研究有帮助，请考虑引用我们的论文：

@article{li2026llmrouterbench,
  title={LLMRouterBench: A Massive Benchmark and Unified Framework for LLM Routing},
  author={Li, Hao and Zhang, Yiqun and Guo, Zhaoyan and Wang, Chenxu and Tang, Shengji and Zhang, Qiaosheng and Chen, Yang and Qi, Biqing and Ye, Peng and Bai, Lei and others},
  journal={arXiv preprint arXiv:2601.07206},
  year={2026}
}

本工作是我们 LLM 路由系列研究的一部分，如您感兴趣，请同时参考并引用：

@inproceedings{zhang2025avengers,
  title        = {The Avengers: A Simple Recipe for Uniting Smaller Language Models to Challenge Proprietary Giants},
  author       = {Zhang, Yiqun and Li, Hao and Wang, Chenxu and Chen, Linyao and Zhang, Qiaosheng and Ye, Peng and Feng, Shi and Wang, Daling and Wang, Zhen and Wang, Xinrun and others},
  booktitle    = {Proceedings of the AAAI Conference on Artificial Intelligence (AAAI)},
  year         = {2025},
  note         = {Oral presentation},
  url          = {https://arxiv.org/abs/2505.19797}
}
@inproceedings{zhang2025beyond,
  title        = {Beyond gpt-5: Making llMs cheaper and better via performance-efficiency optimized routing},
  author       = {Zhang, Yiqun and Li, Hao and Chen, Jianhao and Zhang, Hangfan and Ye, Peng and Bai, Lei and Hu, Shuyue},
  booktitle    = {Distributed AI (DAI) conference},
  year         = {2025},
  note         = {Best Paper Award},
  url          = {https://arxiv.org/abs/2508.12631}
}
@inproceedings{wang2025icl,
  title        = {ICL-Router: In-Context Learned Model Representations for LLM Routing},
  author       = {Wang, Chenxu and Li, Hao and Zhang, Yiqun and Chen, Linyao and Chen, Jianhao and Jian, Ping and Ye, Peng and Zhang, Qiaosheng and Hu, Shuyue},
  booktitle    = {Proceedings of the AAAI Conference on Artificial Intelligence (AAAI)},
  year         = {2025},
  note         = {Poster},
  url          = {https://arxiv.org/abs/2510.09719}
}
@article{chen2025learning,
  title        = {Learning Compact Representations of LLM Abilities via Item Response Theory},
  author       = {Chen, Jianhao and Wang, Chenxu and Zhang, Gengrui and Ye, Peng and Bai, Lei and Hu, Wei and Qu, Yuzhong and Hu, Shuyue},
  journal      = {arXiv preprint arXiv:2510.00844},
  year         = {2025},
  url          = {https://arxiv.org/abs/2510.00844v1}
}