Skip to content
Chenghao Liao
Go back

从任务经验到可复用能力:关于 Agent Skill 自进化的一些思考

最近在研究 Agent 的 Skill 自进化,陆续看了 SkillClaw、Hermes Agent 和 SkillOpt 三种不同的实现思路。虽然它们的技术路线不完全相同,但都在探索一个很有意思的问题:

Agent 能否从过去的任务经历中,持续获得未来可以复用的能力,而不是每次面对相似问题都从头开始?

过去我们更多关注如何让 Agent 完成当前任务,例如提供更好的 Prompt、更多 Tool、更准确的 Context,或者通过 Multi-Agent 提高问题覆盖率。

但如果一个 Agent 已经完成了成百上千次任务,遇到新问题时仍然像第一次上班一样,重新探索那些过去已经验证过的方法,那么大量执行经验实际上就被浪费了。

所以我觉得,Agent 的下一步不只是学会完成任务,而是学会从任务中积累能力,并让这种能力在未来持续发挥作用。

不过,这件事远没有“任务结束后让 LLM 总结一下经验”那么简单。

一、完成一次任务,不等于获得了一种能力

假设一个 Code Review Agent 正在检查某个 PR。

它最开始只阅读了 Diff,没有发现明显问题。随后通过搜索调用方、分析共享状态的读写路径、检查异常处理,最终定位到了一个隐蔽的并发 Bug。

这次任务成功了。

但下一次遇到类似问题时,如果 Agent 仍然从阅读 Diff 开始,重复搜索和试错,那么它虽然完成过一次复杂任务,却没有真正积累能力。

这里其实有两个不同的概念:

Task Success:当前任务完成了。

Capability Improvement:未来完成类似任务的能力提高了。

前者是一次性结果,后者才具有跨任务复用价值。

因此,我们真正希望沉淀的不是:

在某个 PR 中,Agent 使用了 20 次代码搜索工具,最终发现了一个并发问题。

而是:

当代码变更涉及共享状态时,应结合调用链识别关键读写路径,并检查状态更新、并发访问与可见性之间的关系,避免只依据修改处的局部逻辑作出判断。

后者才可能成为一份可以反复使用的 Skill。

但问题也随之出现:

一次成功的执行轨迹,就足以证明其中的方法值得复用吗?

显然不是。

Agent 可能只是碰巧找到了问题,也可能执行了大量与成功无关的步骤。将整条成功轨迹原封不动写成 Skill,反而可能把无效操作一起固化下来。

因此,Skill 自进化的第一步不应该是总结,而是识别执行经历中真正有复用价值的方法。

二、Skill 不应该只从失败中学习

最开始理解 Skill 自进化时,我更容易想到的是:

任务失败
    ↓
分析失败原因
    ↓
总结经验
    ↓
修改 Skill
    ↓
避免下次再犯

这个思路当然合理。

例如 Agent 漏掉了一个真实 Bug,通过 RCA 发现是没有检查某个上游调用方,于是给对应 Skill 增加一项检查要求。

但 Hermes Agent 给了我另一个启发:

经验的来源不应该只有失败,也应该包括那些成功完成、但经过了大量探索的复杂任务。

失败可以告诉我们哪里做得不好,成功则可能告诉我们什么方法值得保留。

两者提供的信息实际上不同。

失败经验更适合发现:

成功经验则可能包含:

例如一次复杂的 Bug Detection 中,Agent 最初尝试了几条错误路径,最终通过数据流追踪找到了根因。

真正值得保留的,可能不是整个探索历史,而是从中提炼出的:

在哪些信号出现时,应该切换调查方向?哪种证据足以支持下一步判断?

Hermes 的 /learn、Background Review 和 Curator,分别从主动学习、后台任务回顾和长期经验维护等角度,尝试把这些经历沉淀下来。

我觉得这里最重要的认知变化是:

Skill 自进化不是一个专门用于修复失败的机制,而是一种从真实执行中持续提炼有效方法的能力积累机制。

但也必须强调,成功不等于方法有效,失败也不意味着 Skill 有问题。

例如工具超时、环境故障、权限不足,本质上可能是 Runtime 问题。若直接将这些失败转化为 Skill 规则,就会把环境问题错误地固化成 Agent 的执行习惯。

因此,无论成功还是失败,都应该先分析原因,再决定是否值得生成经验。

三、Memory 和 Skill:记住过去,与改变未来

这里还有一个我觉得值得区分的概念:Memory 不等于 Skill。

这里主要讨论记录任务经历的 Memory。

Memory 更关注过去发生了什么。

例如:

某次 PR 审查中:
- Agent 曾经漏掉一个并发 Bug
- 原因是没有追踪共享状态的读取路径
- 后续补充调查后成功定位问题

这些都是值得保存的历史事实。

但 Skill 关注的是:

未来再遇到类似问题时,Agent 应该按照什么方法执行?

因此可以理解成:

Execution History
        ↓
Memory
记录发生过什么
        ↓
Experience Analysis
提炼可复用的方法
        ↓
Skill
指导未来如何执行

并不是所有 Memory 都应该变成 Skill。

例如某次任务使用了一个特殊的编译参数,这可能只适用于当时的代码仓库。把它固化成通用 Skill,可能会干扰以后其他项目的执行。

反过来,某种已经多次验证有效的调查方法,可能就值得从 Memory 上升为 Skill。

所以我觉得,Memory 是经验的来源,Skill 是经过筛选后可以指导未来行动的方法。

两者之间最重要的不是存储格式,而是那一步判断:

这条历史信息是否真的具备跨任务复用价值?

四、从一条经验到 Skill v2:进化应该是受控修改

如果已经确认某条经验值得吸收,接下来该怎样修改 Skill?

一种简单的方式是直接把当前 Skill 连同新经验交给 LLM:

根据这次失败,重新生成一个更好的 SKILL.md。

但这种方式存在明显的问题。

假设原来的 Skill 已经包含十条经过验证的有效规则,本次只发现其中一个检查步骤不够完善。

如果让模型重写整个 Skill,就有可能在增加新规则的同时,无意中修改甚至删除原本正确的内容。

这让我比较认可 SkillOpt 的一种思路:

把 Skill 当成可优化的外部参数,并限制每次修改的范围。

例如:

Skill v1
   ↓
发现一项可复用改进
   ↓
Add / Delete / Replace
   ↓
生成候选 Skill v2
   ↓
验证
   ↓
接受或拒绝

这里讨论的是 SkillOpt 的 patch 模式;它也提供基于所选建议整体重写 Skill 的模式。

这里的关键不是一定要使用哪种文本修改算法,而是让每次变化具有明确边界。

如果某项规则已经过时,就删除它。

如果某个判断步骤不准确,就只替换相关部分。

如果发现一种新方法,也不应该立即改变整套工作流程。

SkillOpt 将这种有限幅度的修改类比为文本空间里的学习率控制,我觉得很形象。

传统模型训练通过学习率控制参数更新幅度,而这里主要通过编辑预算限制每步采用的编辑操作数量,并不直接保证改动字数很少。

它不保证小改动一定正确,但能够减少一次局部经验影响整份 Skill 的风险。

此外,失败的修改也值得记录。

如果同一种 Skill 优化已经尝试多次,均未带来稳定收益,那么后续优化器就不应该在相同条件下无限重复这一方向。

因此,进化不只是保存被接受的版本,也应该保留被拒绝的修改、原因及对应评测范围。

成功经验告诉我们什么值得复用,失败的进化尝试则告诉我们哪些改进尚未得到证实。

五、Skill 看起来更好,不代表 Agent 真的变强

我认为这是 Skill 自进化最核心、也是最容易被忽视的问题。

LLM 很擅长总结经验。

我们甚至可以让它把一份非常普通的 Skill 改写得更加完整、专业、结构清晰。

但这些变化并不天然意味着 Agent 的实际能力提高了。

例如,针对某个漏报的并发 Bug,我们增加了一条规则:

遇到共享状态变更时,必须完整检查所有调用方。

新 Skill 在原来的失败 Case 上成功找到了目标 Bug。

看起来进化成功了。

但如果换到另一个大型仓库,这条规则可能导致 Agent 花费大量 Token 搜索无关调用路径,甚至因为过度关注并发问题,漏掉其他类型的真实缺陷。

于是出现一种非常典型的情况:

目标 Case:
Recall 提升

其他 Case:
Recall 下降

总体:
未必改善

这就是局部优化与整体效果之间的冲突。

因此,我认为 Skill 的验证至少应该覆盖三个维度:

第一,目标问题是否真的改善。

新的 Skill 是否解决了原本暴露的能力缺口?

第二,改进是否能够泛化。

对于没有参与 Skill 生成的相似任务,它是否仍然有效?

第三,是否伤害了其他能力。

它有没有引入新的误报、增加无效工具调用,或者使 Agent 的调查方向过度偏向某类问题?

这也是为什么我很认可 SkillOpt 的独立 Validation 思路。

真正的进化不应该是:

LLM 生成更好的 Skill
        ↓
LLM 判断自己写得不错
        ↓
发布

而应该是:

生成 Candidate
        ↓
固定模型与执行环境
        ↓
独立任务评测
        ↓
对比旧版与新版
        ↓
检查收益和回归
        ↓
决定是否接受

特别是对于 Code Review 这类相对可验证的任务,应当尽量利用真实缺陷标注、可复现行为和执行证据,而不是只依赖另一个 LLM 的主观评价。

当然,即使新 Skill 在验证集上表现更好,也不能保证它对所有未来任务都有帮助。

反复使用同一批验证任务选择候选,还可能产生验证集过拟合。因此最终仍然需要保留独立测试集和持续的真实任务反馈。

自我评价可以帮助发现问题,但不能自动取代外部验证。

六、不仅要改进 Skill 内容,还要改进什么时候使用它

这是我在思考 Code Review Agent 时觉得特别重要的一点。

假设我们已经获得一份效果很好的 Concurrency Review Skill。

它能够指导 Agent 调查共享状态、锁、并发读写和可见性问题。

但如果系统看到 cache、async、redis 等关键词,就自动加载这份 Skill,可能会让 Agent 在大量不相关任务中过度关注并发风险。

此时 Skill 本身可能没有问题。

真正的问题是:

一份正确的 Skill,被用在了错误的场景。

所以我觉得自进化至少包含两个不同的优化对象。

Skill Content:加载以后应该怎么做。

Skill Routing:什么时候应该加载。

两者都很重要。

如果只优化 Content,Skill 可能越来越专业,却在不适合的任务中产生干扰。

如果只优化 Routing,即使能够准确找到某个 Skill,它内部的方法仍然可能不可靠。

因此,Skill 的适用边界也应该成为版本资产的一部分。

例如:

Skill:
Concurrency Review

适用场景:
- 共享状态修改
- 并发访问路径变更
- 锁与状态同步逻辑变化

不适用场景:
- 仅因为出现 cache 关键词
- 没有并发语义的普通配置修改

这并不是要求所有 Skill 都采用固定关键词触发,而是强调触发条件本身需要明确、可验证。

我认为对于 Bug Detection Agent,正确地不加载一份 Skill,有时和正确地加载它一样重要。

七、Skill 的生命周期:不只是 v1 到 v2

另一个我很认同的思路来自 Hermes 的 Curator。

普通的 Skill 管理容易只关注:

Skill v1
   ↓
Skill v2
   ↓
Skill v3

但如果使用时间足够长,系统就会遇到更多问题:

这些问题靠不断增加版本,并不能完全解决。

所以完整的 Skill 生命周期应该包括:

Create
   ↓
Validate
   ↓
Release
   ↓
Use & Monitor
   ↓
Update / Merge
   ↓
Archive / Rollback / Restore

例如一个 Skill 经过验证成为正式 v1。

后续发现新的问题,生成候选 v2。通过验证后,可以先限定适用范围,再逐渐扩大使用。

如果 v2 造成明显回归,就回滚到 v1。

如果两份 Skill 的能力高度重叠,可以在验证后进行合并。

如果某份 Skill 已经不再适用,则可以归档,而不是永远保留在可发现的能力目录中。

这里需要准确区分:Hermes 提供了长期使用情况管理、Curator、归档与恢复等机制;严格的独立 Benchmark、灰度发布和自动回滚,则是可以结合其他系统设计进一步完善的治理流程,不能认为某一个项目天然实现了全部环节。

我觉得生命周期管理最重要的价值是:

Skill 不应该只会增长,也应该能够被修改、合并、淘汰和恢复。

否则,长期积累的经验很可能从优势逐渐变成负担。

八、Skill 自进化也需要独立的执行闭环

把 SkillClaw、Hermes 和 SkillOpt 的思路放在一起,我逐渐觉得,Skill 自进化不应该只是 Agent Loop 结束时顺手增加的一个 Summary 步骤。

更自然的方式,是把任务执行与能力改进分成两个循环。

第一条是任务执行循环:

用户任务
    ↓
选择并加载 Skill
    ↓
Agent 执行
    ↓
Tool / Evidence / Result
    ↓
任务结束

第二条是能力改进循环:

收集执行轨迹
    ↓
分析成功和失败
    ↓
识别可复用方法
    ↓
生成 Skill Candidate
    ↓
独立验证
    ↓
发布 / 拒绝 / 回滚

这两条循环可以异步进行。

任务执行时,Agent 使用的是已经发布、经过验证的 Skill。

后台进化流程则依据历史证据提出修改,而不是让每一次任务执行都直接改动正式 Skill。

这样可以避免:

本次任务出现失败
    ↓
Agent 立即修改 Skill
    ↓
修改影响当前执行
    ↓
新的结果又成为修改依据

这种边执行、边改规则、边使用新规则的混乱循环。

与此同时,候选生成、验证和发布也应该有明确的职责边界。

负责提出改进的模型,可以分析失败原因、生成候选 Skill。

但它不应该仅仅因为自己认为修改合理,就直接决定正式发布。

这其实是在把软件工程中的版本管理、测试、Release 和 Rollback 思想应用到 Agent 的执行知识管理上。

Skill 可以由 AI 生成,但它能否成为正式能力,需要由独立证据决定。

九、自进化系统必须允许“不进化”

这是我觉得整个话题里最反直觉,但也最重要的一点。

很多系统一旦加入“自进化”能力,就会默认:

Agent 每执行一些任务,就应该总结新经验;每次失败都应该产生新规则;Skill 应该持续增长。

但实际情况可能完全不同。

一次任务成功,可能并没有产生新的方法。

一次失败,可能只是偶发的环境故障。

一份新生成的 Skill,可能只是在重复模型已经具备的能力。

甚至某些经验虽然在局部任务上有效,却会伤害其他场景的表现。

因此,一个成熟的自进化系统应该能够得出:

分析本轮任务
      ↓
没有发现可靠的新经验
      ↓
不修改 Skill

或者:

生成候选 Skill v2
      ↓
独立验证未显示稳定收益
      ↓
Reject
      ↓
继续使用 v1

这不是系统没有进化能力。

恰恰相反,它说明系统能够区分有意义的能力改善和只是产生了变化。

如果每一次执行都必须生成新经验,每一次迭代都必须发布新版本,那么进化本身就可能逐渐变成一个需要被优化的指标。

我们最终关心的不是:

Skill 数量增加了多少?
累计修改了多少次?
生成了多少条经验?

而是:

未来任务的完成质量是否提高?
同类错误是否减少?
新的方法是否能够泛化?
是否引入了其他能力退化?
总体执行成本是否合理?

所以我现在越来越认可:

能够拒绝一次没有价值的修改,本身就是 Skill 自进化系统的重要能力。

十、从 Skill 自进化到 Agent 自进化

沿着前面的思路继续推,我觉得 Skill 自进化其实还揭示了一个更大的方向。

Agent 的能力不仅来自模型权重。

它还来自模型之外的:

Prompt
Skill
Tool
Knowledge
Memory
Context
Workflow
Harness

这些组件共同决定 Agent 能够以什么方式完成任务。

Skill 自进化改变的是其中的可复用执行知识。

但当系统逐渐成熟时,我们可能进一步遇到:

这时真正值得思考的问题不再只是:

如何生成下一版 SKILL.md?

而是:

系统能否根据可信执行证据,识别真正需要改进的能力边界,再对正确的组件进行有限修改和验证?

有时需要修改 Skill。

有时应该修复 Tool。

有时应该调整 Context 策略。

有时甚至什么都不应该修改。

所以我觉得 Skill 自进化可以视为更大范围 Agent 自进化的一块相对清晰、可控制的试验田。

它将原本难以直接调整的模型行为,转化为模型外部可编辑、可比较、可验证的执行规则。

不过从 Skill 自进化走向更广泛的 Agent 自进化时,验证难度也会明显增加。Skill 的独立评测经验并不能自动证明修改 Harness 或 Tool 也同样安全。

因此,比扩大可修改范围更重要的,仍然是建立可靠的证据、评价与发布机制。


结语

最近研究 Skill 自进化,我最大的认知变化是:

Agent 的成长,不应该仅仅表现为它记住了更多事情,而应该表现为它在未来任务中能够更可靠地使用过去验证过的方法。

SkillClaw 尝试解决不同 Agent 之间的经验共享。

Hermes Agent 尝试从真实任务、失败和用户纠正中持续积累与维护能力。

SkillOpt 则尝试把 Skill 修改转化为一套可控制、可验证的优化过程。

它们分别解决不同问题,但最终都指向一条完整的能力演进路径:

真实执行
   ↓
可信证据
   ↓
经验归因
   ↓
候选 Skill
   ↓
独立验证
   ↓
正式发布
   ↓
未来任务复用
   ↓
持续监控与生命周期管理

而我认为,一套真正成熟的 Skill 自进化系统,至少应该做到三件事:

第一,既从失败中纠错,也从成功且复杂的任务中学习,但不把每一次经历都强行总结成规则。

第二,不仅优化 Skill 的执行内容,也关注它的适用范围,并通过独立评测证明改进能够泛化。

第三,允许 Skill 被创建、修订、合并、归档和回滚,也允许一次改进最终什么都不改变。

最终衡量 Agent 是否成长,不应该看它生成了多少份 SKILL.md,也不应该看它的经验库有多大。

而应该看:

这些从过去积累下来的能力,是否真的让它在未来面对新任务时,少走弯路、减少错误,并以更合理的成本完成目标。

自进化的目标不是持续产生变化,而是持续积累经过验证的有效能力。

这可能才是 Skill 从一份静态操作说明,真正变成 Agent 长期能力资产的关键。


相关项目与研究


Share this post:

Previous Post
从 Codex 的 Hook 想到软件设计中的可扩展性