工作流 on Harbor Self-Evolving

评测最近 Session

Mon, 01 Jan 0001 00:00:00 +0000

当你已有真实 Agent 交互、却没有整理好的 Dataset 时，Historical evaluation 是冷启动入口。它用于诊断，不是晋级证据。

Web 路径

在 DSH Harbor 页面打开 Historical Sessions。
预览当前 DSH 工作区可见、最近完成的顶层 Session，最多 3 条。
检查冻结的 Judge 身份、投影字段、脱敏策略以及成本/数据披露。
选择 Session 并确认。
Plugin 写入私有脱敏 Batch，每条 Session 物化为一个 Harbor Trial，并启动非晋级 Historical Job。

Agent 工具路径最多预览 10 条，但只允许 exact current working directory。Preview 返回安全 metadata 与短期 owner-bound selection token，而不是原始 Session id 或 transcript。

Candidate 评测与晋级

Mon, 01 Jan 0001 00:00:00 +0000

Candidate evaluation 比 Historical 诊断回答的问题更窄：在可比评测条件下，单个受控改动是否改善了固定业务任务？

严格顺序

把 Candidate snapshot 为不可变 manifest。
验证 Dataset 身份、Task 唯一性、路径、敏感 metadata 与 source digest。
对 Candidate、Dataset、Evaluation Stack 和可选 Promotion Policy 运行 Doctor。
在昂贵 Job 前预览 Context v3 并发现可比 baseline。
新 Stack 或 provider 路径先跑 diagnostic。
只改变一个受控面：Agent 或 Evaluator，不能静默同时修改。
使用固定身份运行 promotion-eligible regression。
检查 progress、Trial output、criterion evidence 与 governance impact。
与可比 baseline Compare + Gate。

可比性

只使用同一个仓库，不代表 baseline 可比。Candidate manifest、Dataset manifest、Evaluation Stack、Context、执行环境以及相关 model/Judge 身份必须满足契约。Dataset digest、Stack 版本、provider 身份或 runtime 边界变化都可能要求新 baseline。

Evaluator 治理与元评测

Mon, 01 Jan 0001 00:00:00 +0000

Candidate 质量与 Evaluator 质量是两个独立治理问题。

接口与检查

正式 Candidate Evaluator 实现 harbor-dsh-evaluator/v2。Descriptor 标识 implementation kind（script 或 llm-as-judge）、ternary Criteria，以及 bounded editable source allowlist。Inspection 会省略 secret-shaped 与 local-path-shaped 值。