评测最近 Session
把限量、脱敏的最近 DSH Session 转成非晋级 Historical evaluation Job。
当你已有真实 Agent 交互、却没有整理好的 Dataset 时,Historical evaluation 是冷启动入口。它用于诊断,不是晋级证据。
Web 路径
- 在 DSH Harbor 页面打开 Historical Sessions。
- 预览当前 DSH 工作区可见、最近完成的顶层 Session,最多 3 条。
- 检查冻结的 Judge 身份、投影字段、脱敏策略以及成本/数据披露。
- 选择 Session 并确认。
- Plugin 写入私有脱敏 Batch,每条 Session 物化为一个 Harbor Trial,并启动非晋级 Historical Job。
Agent 工具路径最多预览 10 条,但只允许 exact current working directory。Preview 返回安全 metadata 与短期 owner-bound selection token,而不是原始 Session id 或 transcript。

哪些数据会交给 Judge
经过限量、投影和 credential-shaped 脱敏的证据可以发送给所选 Judge。原始 Session id、完整工具 payload、reasoning 与附件不会直接作为 Judge 输入。私有 Batch 与 Job Artifact 留在本地,可能包含业务证据和普通绝对路径。
因此不能宣传“数据永不离开本机”。
如何读结果
- 每条所选 Session 生成一个 Trial;
- criterion 可以 valid、invalid 或 abstained;
- 除分数外,还要看 coverage 与 reason code;
completed-unscored是有意义的结果,不是成功;- Candidate rerun、可比 baseline 与 Gate 对此路径不适用。
把重复 badcase 整理成 Dataset,再进入 Candidate 流水线。
恢复边界
当前 Historical Web operation 状态与锁是进程内的。Host 重启后,即使磁盘 Artifact 仍在,也可能无法重新挂接。这与 durable @harbor snapshot 和其他 operation journal 不同,必须按 operation 说明恢复保证。