# 评测与改进

> 从真实任务的证据开始，再建立稳定的比较。

---

LLMS 索引： [llms.txt](/yourbuddy/llms.txt)

---

## 四个实用概念

| 概念 | 回答的问题 |
|---|---|
| 评测集 Dataset | 测什么？ |
| 生成器 Generator | 谁来产生答案或成果？ |
| 评测器与标准 Evaluator | 怎样算好，由谁检查？ |
| 优化器 Optimizer | 谁提出下一次受控修改？ |

随附的 Harbor Skill 会引导配置。在对话中调用 `evolve-agent-with-harbor` 并说明任务。桌面已包含插件、Skill 与配套 Python Adapter，无需重复独立包的安装命令。Candidate 执行仍需相应 Docker 环境和可用模型服务，开始前运行 Doctor。

## 还没有数据集

请求诊断当前工作目录中近期已完成的会话。先预览记录范围、评测器、预计请求与证据保存说明，再确认执行。在 Harbor 工作台检查覆盖率、证据和未评分原因。

历史诊断不重新运行 Candidate，也不能作为晋级基线。已完成但未评分的记录不等于零分。没有符合条件的历史时，先完成任务或明确提供 Query／Dataset。

## 已有可重复任务

确认四个概念，固定 Candidate 模型并建立有效基线。每次改变一个因素，在可比任务上回归，同时检查改善与退化。模型或评测器身份变化时可能需要新基线。

单 Query 快速诊断检查执行链路，不等于按草拟标准完成了质量评测。正式晋级需要已接受的策略，评测器可靠性需要独立 Ground Truth 元评测。部署仍是独立操作。

成本、凭据与限制见 [Harbor Evolution](/yourbuddy/plugins/harbor-evolution/)。