◆

skill-creator:编写、评测与优化 skill

2026-10-20 09:300

定位

写 skill、改 skill、量 skill 效果的一条龙助手。内容来自 Anthropic 官方 skill-creator(Apache 2.0,原许可见 skill 目录下 LICENSE.txt),放进 vft-kit 是为了不依赖 claude.ai 账号同步或单独装 skill-creator 插件。

对话里说「写一个 skill」「把这个流程做成 skill」「这个 skill 效果怎么样」「优化 skill 的 description / 触发率」等会触发。

已经装了官方 skill-creator@claude-plugins-official 插件的,二选一即可,两份同时开会在 skill 列表里重复。

能做什么

场景做法
从零写 skill先问清意图和触发场景,再写 SKILL.md + 配套脚本 / 参考文件
改进已有 skill读现有 skill,按反馈迭代
量效果同一批测试用例分别跑「带 skill」和「不带 skill」,打分、汇总基准,用浏览器查看对比报告
优化触发生成「该触发 / 不该触发」的查询集,循环改写 description,提高命中率

写 skill 的要点

  • 渐进披露:SKILL.md 只放核心流程,细节拆到 references/、确定性步骤做成 scripts/,按需读取。
  • description 是触发器:写清「什么时候用」,列出用户真实会说的话;正文才写「怎么做」。
  • 解释原因而不是堆 MUST:讲清为什么,模型才能在边界情况下判断对。
  • 写作参考:references/writing-for-agents.md(来自 mattpocock/skills,MIT)讲 description 当「上下文指针」怎么措辞、什么留在正文什么拆出去、每步的完成判据、用正面表述代替禁令、删冗余;也适用于改 CLAUDE.md。末节写明 vft-kit 里设成只手动触发要同时改的四处。

评测流程

  1. 写 2–3 个贴近真实使用的测试用例。
  2. 同一轮里并行跑带 skill 和不带 skill 两组(改进已有 skill 时,对照组用旧版本)。
  3. 运行期间起草断言;跑完记录耗时和 token。
  4. 打分、聚合基准,打开 viewer 看逐条结果与汇总。
  5. 根据你的反馈改 skill,再跑下一轮,直到满意。

配套脚本在 skill 目录的 scripts/(run_eval.py、aggregate_benchmark.py、run_loop.py 等)和 eval-viewer/,需要本机 Python 3。

踩坑

  • 评测会开不少子 agent,token 消耗明显,小改动不必每次都跑完整评测。
  • description 优化依赖 claude -p 跑触发测试,需要本机能用 Claude Code CLI。

留言板

0 条留言
Markdown
0 字
对话记录每个声音,都值得被看见

对话,从你开始

还没有留言。分享一个想法,或只是打声招呼。

PAGE LOAD / LIVEskill-creator:编写、评测与优化 skill加载中