跳转到主要内容

标签: 评测

  • 先证据,后优化

    发布于 博客

    评测证据设计

    让自进化失去可信度的最快方式,是让同一个不透明循环自己选 case、重写自己,再宣布胜利。 Harbor 反过来:先固定测什么、怎么测;再检查证据是否有效、覆盖多少 population;然后才提出一个改动,并与身份仍匹配的 baseline 比较。 这就是 Optimizer 与 Gate 分离、Historical Session 只用于诊断、raw reward 不会静默变成 valid score 的原因。 它看起来比“重写到 demo 好看”为慢,却远比上线一个无法解释分数的 …

    让自进化失去可信度的最快方式,是让同一个不透明循环自己选 case、重写自己,再宣布胜利。 Harbor 反过来:先固定测什么、怎么测;再检查证据是否有效、覆盖多少 population;然后才提出一个改动,并与身份仍匹配的 baseline 比较。 这就是 Optimizer 与 Gate 分离、Historical Session 只用于诊断、raw reward 不会静默变成 valid score 的原因。 它看起来比“重写到 demo 好看”为慢,却远比上线一个无法解释分数的 …