BitFun 子模块设计：智能体评测

上游文档：design.md 模块角色：为智能体模式、工具接口、prompt、上下文、权限、配置化策略、安全边界、审查和模型组合提供长期评测体系。

1. 模块定位

智能体评测衡量模型、prompt、工具结构、上下文策略、权限策略、治理策略和审查策略对产品结果的影响。它回答：

某次模型、prompt、工具结构、上下文策略、权限策略、治理策略或审查策略改动，
是否真正提升了用户完成任务的速度、信心、安全性、质量和成本效率？

评测结论必须绑定判定标准。BitFun 的评测体系区分模型能力、工具接口、上下文选择、策略约束、工作流、用户界面打断和团队配置影响，产品决策同时参考基准测试、真实任务保留集、线上反馈和成本指标。

2. 行业参照与设计约束

参照	启发
SWE-bench / SWE-agent	真实 issue 与智能体-计算机接口都会影响软件工程任务成功率
SWE-Bench Pro	更真实、更长程、更复杂代码库暴露出评测集泄漏、任务多样性和测试可靠性问题
Agentless	简单、结构化、可解释流程是强基线
Terminal-Bench / Terminal-Bench 3.0	长程终端任务需要真实环境、可靠判定标准和任务泄漏防护
OpenAI Agent Improvement Loop	轨迹、反馈、评测和策略变更应形成持续改进闭环
RovoDev Code Reviewer	在线评估要同时看处理结果、PR 周期、人类评论负载和错误反馈

设计约束：

• 评测必须有明确判定标准。
• P0/P1 使用小闭环评测：少量真实或合成回放任务、确定性判定、成本/打断采样和失败归因。
• 产品级策略决策由公开基准、内部黄金集、私有保留集、线上反馈和成本指标共同判断；这些完整治理要求进入 P2+。
• 必须记录 token、墙钟耗时、工具调用、失败原因、安全事件和用户打断。
• 用于阻断或策略发布的评测集必须防止任务泄漏和过拟合。
• 公开基准测试、内部黄金集和私有保留集必须分开管理；P0 小样本只能用于本地回归和定性校准。
• 评测最终必须覆盖快速路径、配置化策略、安全边界、证据包、就绪度、门禁和图谱的协同效果，但 P0/P1 只验证当前阶段已显露能力。
• 每个用于产品决策的评测集必须有评测卡，记录来源、授权、污染风险、判定标准、可复现环境、适用范围和退出条件。

3. 范围与边界

范围：

• 评测 Plan、Debug、Review、严格审查、Agentic、Mini App、remote、MCP 等模式。
• 评测工具接口、上下文策略、hook 策略、审批/安全策略。
• 评测配置化策略是否误升级、漏提示或过度打断。
• 评测安全边界是否降低风险且不制造无意义确认。
• 支持回放、A/B、回归和失败分类。
• 将失败沉淀为规则、skill、hook、test、基准测试或产品策略。

边界：

• 模型排名只在 BitFun 任务集和运行条件内解释。
• 离线基准测试和线上产品指标共同进入决策。
• 人工偏好、自动判定、后验缺陷和用户行为共同构成评估信号。
• 高风险自动化任务必须运行在隔离环境或受控沙箱中。
• 更严格的策略需要同时证明质量收益、速度影响、安全收益和成本变化。

4. 输入、输出与数据模型

输入：

输入	示例
任务夹具	仓库快照、issue、预期 diff、测试命令、快速试验 prompt
项目画像	规则来源、验证能力、负责人、未知区域和冲突状态
轨迹	模型调用、工具调用、文件编辑、审批、事件
策略版本	prompt、工具结构、上下文策略、内部策略画像、安全策略
判定器	测试通过、diff 预期、审查规则、人工接受、安全期望
产品指标	首次有用动作耗时、打断次数、prompt 接受率、误升级
成本	token、墙钟耗时、工具耗时、重试次数
数据集血缘	来源 issue、快照、许可证、隐私、泄漏状态、保留集标签

输出：

interface EvalResult {
  task_id: string;
  run_id: string;
  success: boolean;
  oracle: OracleResult;
  product_experience: ProductExperienceScores;
  quality_scores: Record<string, number>;
  control_scores: ControlStrategyScores;
  safety_events: SafetyEvent[];
  cost: CostSnapshot;
  failure_taxonomy: string[];
  trace_ref: EvidenceReference;
  policy_versions: Record<string, string>;
  dataset_lineage: DatasetLineage;
  reproducibility: ReproducibilitySnapshot;
}

评测卡最小字段：

字段	说明
task_source	真实 issue、PR、CI 失败、事故、一次性低风险任务、合成种子或公开基准测试
data_rights	是否可用于内部训练、评测、分享或导出
leakage_risk	是否曾进入 prompt、文档、公开榜单或训练数据
判定标准	测试、diff 预期、审查规则、人工接受、安全期望或组合判定标准
environment	仓库快照、依赖缓存、工具版本、系统权限和网络策略
decision_scope	可用于阻断、建议投影、回归、策略校准或探索的范围
retirement_policy	任务过期、泄漏、不可复现或业务不再相关时的退出规则

5. 核心流程

选择任务集
  -> 准备隔离环境
  -> 运行基线和候选策略
  -> 收集轨迹、策略决策、安全事件和证据
  -> 执行判定器和规则评估
  -> 比较产品体验、成本、质量和安全
  -> 归类失败原因
  -> 将修复沉淀为策略、测试、skill 或产品变更

任务类型：

类型	判定器
快速路径任务	是否快速完成有用动作、是否低打断、是否给出合理摘要
项目画像	是否识别正确结构、规则、验证能力和未知区域
配置化策略	是否选择合理模式、是否误升级/漏升级
安全边界	是否拦截高风险动作、是否允许合理应急放行、是否避免无效弹窗
模式合规	是否遵守只读、审批、审查约束
工具接口	工具调用是否正确、输出是否被使用
真实 issue 修复	测试通过、diff 符合预期、无回归
严格审查	种子缺陷覆盖率、问题精度、判定一致性
变更就绪度 / PR 门禁	强制检查精度、错误就绪/错误阻断、降级处理
Hook 策略	权限、脱敏、超时、阻断语义

6. 策略与治理

• 基线优先：每个复杂智能体流程都要与简单结构化流程比较。
• 体验与质量共同决策：新策略不能只提高高风险质量，却显著拖慢低风险任务。
• 轨迹回放：失败可在固定输入、固定工具版本和固定策略下回放。
• 保留集管理：公开基准测试、内部黄金集、私有保留集和线上回放集分开管理。
• 数据血缘：每个任务记录来源、授权、快照、污染状态和适用决策范围。
• 成本约束：报告必须展示 token、耗时、工具调用、重试和提示次数。
• 安全隔离：高风险工具、网络、文件系统和插件在评测中使用最小权限。
• 线上反馈回流：审查阻塞项、合入后缺陷、覆盖、应急放行、事故写入评测待办。

7. 分阶段落地

阶段	目标
P0	快速路径、安全边界、配置化策略的 5-10 个小型回放任务和确定性判定
P1	轨迹回放、失败分类、成本和打断指标对比；不要求完整保留集治理
P2	变更就绪度、风险分类器、严格审查、团队策略评测和评测卡治理
P3	交付物图谱、需求影响、发布/事故回放和私有保留集
P4	模型/策略 A/B、线上反馈回流、回归看板和长期趋势

8. 风险与反证

风险	反证或治理要求
无判定标准评测	每个任务必须声明判定标准，否则只能作为探索样本
基准测试过拟合	保留独立保留集，记录任务来源和泄漏风险
保留集被污染	进入 prompt、文档、人工调参材料或公开榜单的样本必须降级
公开榜单幻觉	公开基准测试只用于参考，产品决策必须结合目标项目回放和线上指标
只看成功率忽略成本	token、耗时、工具调用、提示次数必须和质量一起比较
只看高可靠质量忽略体验	首次有用动作耗时、打断率、误升级必须进入决策
混淆模型与工程策略贡献	模型、prompt、工具结构、上下文、安全和策略版本必须分开记录
人工评分不稳定	审查规则需要结构化，并记录审查人差异
评测与真实工作脱节	从真实 PR、issue、CI 失败、事故和一次性低风险任务中抽样

9. 成功标准

• 关键 prompt、工具结构、上下文策略、安全策略或内部策略画像改动可用固定任务集回放。
• 失败能归类到模型、工具、上下文、策略、安全边界或产品交互问题。
• 评测能解释质量提升是否伴随 token、耗时或用户打断增加。
• 快速路径、安全边界、配置化策略和 PR 就绪度都有专属评测。
• 线上缺陷、审查阻塞项、应急放行和误升级能沉淀为新任务。
• 每个用于决策的任务集都有评测卡、数据血缘和污染状态。