用 eval 闭环验证 Agent Skill 是否真的提升任务成功率

skill-creator

OpenHands 团队把 Agent Skill 当成可评测工程资产,而不是“写完就信”的提示词。案例先定义三个真实任务:离线 Trivy 漏洞报告、两份季度财报结构化抽取、Excel+PDF 销售透视分析;再分别跑 no-skill 与 improved-skill 条件,记录 trace、runtime、events 和 pass rate。结果显示漏洞报告任务从 0/10 提升到 10/10,平均耗时从 266s 降到 109s;财报抽取从 9/10 提升到 10/10;销售透视任务则暴露出 skill 可能让部分模型退化。适合用 skill-creator 做完 Skill 后,继续用 eval 证明它真的改善了输入、过程、输出和结果。

作者Rajiv Shah来源OpenHands BlogUpdate2026-03-18阅读0

相关实践

Substack2026-05-10

用 Agent Skills + OpenClaw + Waza 验证医疗 PDF 工作流

Paul J. Swider 为个人医疗 AI Tula 构建了 `med-pdf` 和 `epic-note` 两个 Agent Skills:在 source-of-truth repo 中维护 `skills/AGENTS.md`、两个 Skill 目录和 `evals/<skill>/tasks/`,再将技能同步到 OpenClaw 运行时 `~/.openclaw/workspace/skills/`。他用明确优先级规则处理 Anthropic Agent Skills 规范与 Microsoft Waza 检查的冲突,并按 progressive disclosure 把 `SKILL.md`、`scripts/`、`references/` 拆层。最终 `med-pdf` 通过 Waza 5/5 eval,success rate 100.0%,aggregate score 1.00,duration 29.369s;`epic-note` 的 4-task suite 也 clean,覆盖 PHI 边界、非医疗 PDF 拒绝、LabCorp/MyChart 解析和跨 Skill portal message 路由。

63Substack·Paul J. Swider
B站2026-03-17

小白也能看懂的Skill-Creator教程来了!

我姚学AI 出品的 Skill-Creator 入门教程,面向零基础用户,手把手教你使用 Skill-Creator 创建自定义 Agent Skill。

1.2kB站·我姚学AI
B站2026-03-17

用Skill-creator构建知识库检索技能!破解AI健忘+降低Token消耗全流程

华哥详细讲解如何用 Skill-creator 构建知识库检索工具,解决 AI 健忘、Token 浪费三大痛点。生成包含 SKILL.md、references、scripts 的三层递进式检索技能,实测精准查询对象存储平台、按需读取 API 规范,直观展示节省 Token 效果。

319B站·AI增效成长记-华哥
B站2026-03-17

LLM 应用开发原理实战篇:从零手搓一个Skill(包含手搓和使用 skill-creator 构建)

Beyond_April 从零演示两种创建 Skill 的方式:手动编写和使用 skill-creator 自动生成。小白友好,有手就行,覆盖 SKILL.md 结构、references、scripts 三层架构。

177B站·Beyond_April
掘金2026-03-08

告别面条代码:我用 npx skills 跑通的「自动化写作」流水线

昨晚我还在被烂代码和憋稿子双重折磨,半小时后居然代码干净了、长文也自动生成了!🤯 就靠一条神奇命令,我调教出一个“代码医生”+“主编”组合拳:用npx skills召唤AI技能库,先让kaizen暴力重构面条代码,再捏个专属编辑器把过程变成精致长文。现在写技术博客就像点外卖一样简单,这套自动化流水线真的爽飞了!🚀

361掘金·多厘
知乎2026-02-27

Trae+Skills打造最强黑科技—Github秒变私有Skill库

你还在为AI技能管理发愁吗?🤯 我们直接把GitHub改造成了私有技能库!Trae+Skills这套黑科技,不仅让团队协作效率翻倍,更实现了自定义技能的秒级部署。从此告别混乱,像搭积木一样玩转AI能力!🚀 点击看我们如何用三天搞定这套酷炫系统~

567知乎·stockapi

关联 Skill