AI 实验室近两年把大量声誉押在基准测试上：一套被默认“中立、准确”的评分体系，用来判断哪个模型更强、哪个版本更安全。但 Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 的一场对话中给出了更冷静的判断——评估方法本身仍处在复杂且不成熟的阶段，距离成为行业可以依赖的“科学”还有相当距离。
这场讨论的真正焦点并不是“哪个榜单更准”，而是一个更基础的问题：当评估结果无法被复现时，它还能被信任吗？
从“信任结果”退回到“能否复现”
Solaiman 对“信任”一词保持警惕。她认为，判断评估结果是否可信，关键不在于榜单看起来多权威，而在于两点：结果能否被复现，以及外部是否拥有足够的模型访问权限。后者正是开放权重模型的价值所在——没有可触及的模型本体，复现就无从谈起。
这戳中了基准测试长期存在的软肋。闭源模型对外只暴露输入输出，评估机构很难判断分数来自模型能力，还是来自特定的调用方式、提示词模板或后处理逻辑。当评估从“模型考试”变成“系统考试”，这个问题会被进一步放大。
Solaiman 还指出，现有评估之间缺乏有意义的可比性：它们演化很快，失效也很快，行业尚未形成足够繁荣的评估生态。换句话说，今天榜单上的分数，明年可能既无法横向比较，也无法纵向追溯。
嵌入式评估员：需求真实，标准缺位
近几个月，让“中立”第三方评估员常驻 AI 组织内部的思路开始流行。背景是一连串安全事件引发的担忧，而 Hugging Face 本身也曾是这类事件的当事方。在主动政府监管缺位的情况下，实验室更倾向于把第三方评估当作替代方案。
但 Solaiman 的提醒很直接：现在对嵌入式评估生态有强烈需求，可“谁有资格成为有效评估员、能覆盖哪些任务”这些门槛条件，需要远多的标准化。中立性如何界定、评估员与被评估方之间的信息权限如何划分、结论如何复核，目前都没有共识。
外界的质疑也已出现。某实验室聘请大型咨询公司担任首个评估方的决定，就引来了不少批评——争议核心不是这家公司名气不够，而是评估能力与咨询能力并不是一回事。
评估对象正在从模型扩展到整个系统
更值得产品团队注意的是评估对象的迁移。过去评估只测模型本身，现在越来越多地测模型周围的整套系统，包括 harness（用户访问模型所依赖的工具层）与 agent 编排逻辑。
Solaiman 提到一个容易被忽略的事实：harness 对最终表现影响巨大，一个较弱的模型配上更好的 harness，完全可能跑赢前沿模型。这意味着单纯比较模型分数，可能会把工程层的贡献误记到模型头上，也可能让真正的问题被掩盖。
她同时点出成本现实：agentic 评估又难又贵。行业对模型的评估数量相对充足，对 harness 的评估明显偏少，而对“整体 agent”的评估正在补课——因为用户真正获得价值的地方在那里。
| 评估层级 | 现状 | 主要难点 |
| 模型本身 | 数量较多、相对成熟 | 复现性、跨榜单可比性 |
| Harness 工具层 | 评估偏少 | 工程差异被误算为模型能力 |
| 整体 Agent | 正在发展 | 成本高、任务链路长、难以标准化 |
对行业的实际影响
第一，榜单的“决策权重”需要下调。在复现性没有保障之前，把单一分数当作采购或上线依据，风险不小。第二，开放权重不只是开源社区的议题，它直接关系到第三方能否独立验证安全声明。第三，嵌入式评估若缺乏资质标准，容易退化为合规装饰，反而稀释真正有效的外部审查。
给团队的行动建议
- 自建可复现的评估流水线：固定模型版本、提示模板、解码参数与 harness 配置，把每次评估当作可回滚的实验记录，而不是一次性跑分。
- 分层记录指标：把模型层、harness 层、agent 层的表现分开度量，避免把工程优化误读为模型升级。
- 对第三方评估结论做交叉验证：要求对方说明访问权限、复现步骤与失败案例，而不是只接受一份结论摘要。
- 关注评估的时效性：为关键评估设定复检周期，避免用过期的分数支撑新决策。
一个最小化的复现记录可以这样组织：
eval_run:
model: <模型标识与版本>
harness: <调用工具与版本>
prompt_template: <模板哈希>
decoding: {temperature: 0, max_tokens: 1024}
dataset: <数据集名称与版本>
reproducible: true
artifacts: <日志与原始输出存放位置>评估正在从一门“发布榜单的手艺”变成一门需要方法论的工程学科。在标准补齐之前，最稳妥的姿态不是寻找更权威的榜单，而是让自己的每一次判断都留下可复现的痕迹。如需进一步交流评估实践，请访问 AI Explorer 联系页面。