从真实会话到受控晋级 on Harbor Self-Evolving

为什么自我修改不等于进步

Mon, 01 Jan 0001 00:00:00 +0000

Agent 可以重写 prompt、tool 或 Evaluator，却仍然变差。“发生变化”不等于“有所进步”。

可信循环会在改动前固定业务 case、执行身份与评分 contract，并把提出改动的 Optimizer 与决定晋级的 Gate 分开。

Mon, 01 Jan 0001 00:00:00 +0000

自进化不是“让模型改自己”，而是建立一条可检查的学习链：用 Dataset 规定问题，让 Generator 产出结果，让 Evaluator 依据证据判断，再让 Optimizer 只提出一个受控改动。 Evaluator 自己还要接受 Meta-Evaluation（元评测）。

Mon, 01 Jan 0001 00:00:00 +0000

Historical evaluation 降低冷启动成本。先预览 bounded Session metadata，检查哪些数据可能交给 Judge，再确认非晋级 Job。

选择反映失败的最近 completed Session，检查排除项，并同意已披露 Judge/数据边界。

Mon, 01 Jan 0001 00:00:00 +0000

Dataset 是经过整理的业务意图，不是私有 transcript dump。抽象失败、保留相关约束，并创建可独立审查的期望行为。

去重失败模式，移除私有标识，分开 tuning/holdout，并审查每个 instruction file。

Mon, 01 Jan 0001 00:00:00 +0000

Snapshot Candidate、验证 Dataset、Doctor Stack、预览 Context；新路径先运行 diagnostic，再运行 promotion-eligible Job。

声明一个假设和一个允许的改动。保持 Dataset、criterion、provider 与 runtime 不变，除非改动明确要求新 baseline。

Mon, 01 Jan 0001 00:00:00 +0000

在显式 Promotion Policy 下，把 Candidate Job 与可比 baseline 比较。整体结论必须与 regression、coverage 与 invalid criterion 一起阅读。

复核代表性证据，确认 policy 匹配业务风险，并决定外部 CI/CD 是否消费该建议。