用 Codex JSONL trace 给 setup-demo-app Skill 建立可回归的评测线

skill-creator

OpenAI Developers 用一个 `setup-demo-app` Skill 演示如何把 Agent Skill 做成可测试资产:输入是“搭建 Vite + React + TypeScript + Tailwind demo app”的明确任务;过程先用 skill-creator 生成 Skill,再用 `codex exec --json` 捕获运行 trace;输出用 deterministic checks 验证是否创建 `package.json`、是否运行 `npm install`、是否符合文件结构和样式约束;后续还可以接 `npm run build`、dev server smoke check、token/command count 和 git cleanliness。这个案例的价值在于把“Skill 是否变好”变成 prompt -> trace/artifact -> checks -> score 的闭环,适合任何需要持续迭代 Skill 的团队。

作者Dominik Kundel / Gabriel Chua来源OpenAI DevelopersUpdate2026-01-22阅读0

相关实践

Substack2026-05-10

用 Agent Skills + OpenClaw + Waza 验证医疗 PDF 工作流

Paul J. Swider 为个人医疗 AI Tula 构建了 `med-pdf` 和 `epic-note` 两个 Agent Skills:在 source-of-truth repo 中维护 `skills/AGENTS.md`、两个 Skill 目录和 `evals/<skill>/tasks/`,再将技能同步到 OpenClaw 运行时 `~/.openclaw/workspace/skills/`。他用明确优先级规则处理 Anthropic Agent Skills 规范与 Microsoft Waza 检查的冲突,并按 progressive disclosure 把 `SKILL.md`、`scripts/`、`references/` 拆层。最终 `med-pdf` 通过 Waza 5/5 eval,success rate 100.0%,aggregate score 1.00,duration 29.369s;`epic-note` 的 4-task suite 也 clean,覆盖 PHI 边界、非医疗 PDF 拒绝、LabCorp/MyChart 解析和跨 Skill portal message 路由。

63Substack·Paul J. Swider
OpenHands Blog2026-03-18

用 eval 闭环验证 Agent Skill 是否真的提升任务成功率

OpenHands 团队把 Agent Skill 当成可评测工程资产,而不是“写完就信”的提示词。案例先定义三个真实任务:离线 Trivy 漏洞报告、两份季度财报结构化抽取、Excel+PDF 销售透视分析;再分别跑 no-skill 与 improved-skill 条件,记录 trace、runtime、events 和 pass rate。结果显示漏洞报告任务从 0/10 提升到 10/10,平均耗时从 266s 降到 109s;财报抽取从 9/10 提升到 10/10;销售透视任务则暴露出 skill 可能让部分模型退化。适合用 skill-creator 做完 Skill 后,继续用 eval 证明它真的改善了输入、过程、输出和结果。

0OpenHands Blog·Rajiv Shah
B站2026-03-17

小白也能看懂的Skill-Creator教程来了!

我姚学AI 出品的 Skill-Creator 入门教程,面向零基础用户,手把手教你使用 Skill-Creator 创建自定义 Agent Skill。

1.2kB站·我姚学AI
B站2026-03-17

用Skill-creator构建知识库检索技能!破解AI健忘+降低Token消耗全流程

华哥详细讲解如何用 Skill-creator 构建知识库检索工具,解决 AI 健忘、Token 浪费三大痛点。生成包含 SKILL.md、references、scripts 的三层递进式检索技能,实测精准查询对象存储平台、按需读取 API 规范,直观展示节省 Token 效果。

319B站·AI增效成长记-华哥
B站2026-03-17

LLM 应用开发原理实战篇:从零手搓一个Skill(包含手搓和使用 skill-creator 构建)

Beyond_April 从零演示两种创建 Skill 的方式:手动编写和使用 skill-creator 自动生成。小白友好,有手就行,覆盖 SKILL.md 结构、references、scripts 三层架构。

177B站·Beyond_April
掘金2026-03-08

告别面条代码:我用 npx skills 跑通的「自动化写作」流水线

昨晚我还在被烂代码和憋稿子双重折磨,半小时后居然代码干净了、长文也自动生成了!🤯 就靠一条神奇命令,我调教出一个“代码医生”+“主编”组合拳:用npx skills召唤AI技能库,先让kaizen暴力重构面条代码,再捏个专属编辑器把过程变成精致长文。现在写技术博客就像点外卖一样简单,这套自动化流水线真的爽飞了!🚀

361掘金·多厘

关联 Skill