用 skill-creator 的 model-comparison rollout 比较不同模型跑 Skill 的成本效果

skill-creator

7 月 22 日 agent-skill-creator 提交 `feat: model-comparison rollouts`,把生成 Skill 后的评测从单次通过扩展为模型对比。输入是一个带 golden suite 的 Skill 和重复的 `--model <id>` 参数;执行过程让 `run_evals.py --rollout` 按模型逐个运行同一套 golden cases,并通过 `{model}` placeholder 或 `$EVAL_MODEL` 传给 pipeline。产物是每个模型的 pass/fail/error/regression、cost、wall time 表格;成本只读取 `{output}.usage.json` sidecar,缺失时显示 n/a,不估算。提交包含 10 个新测试和示例 runner 同步,适合参考如何用 skill-creator 为生成的 Skill 建立模型选择和成本验证闭环。

作者FrancyJGLisboa来源GitHubUpdate2026-07-22阅读1

相关实践

GitHub2026-07-26

用 skill-creator 测试口径精确识别 pip check 依赖冲突

7 月 26 日 BambooGap/skills-orchestrator 提交 `fix: require exact pip check conflict`,输入是 MCP deployment 兼容性检查里,FastAPI 和 Starlette 相关词出现在多行或无关包冲突中时可能被误接受。执行过程把宽松的 `has requirement/requires/conflict` 匹配收敛为单行 FastAPI-to-Starlette `pip check` 正则,并在 post-release smoke 中拒绝本地 package version 与 tag 版本不一致。产物是更严格的 `verify_fastapi_conflict.py` 和 smoke 测试;验证覆盖 unrelated lines、extra conflict、local package mismatch 等用例。适合参考如何给 Skill/MCP 发布前置检查写成精确可回归的质量闸。

0GitHub·BambooGap
GitHub2026-07-25

用 skill-creator 思路把 Skill 发布证据绑定到已验证源码

7 月 25 日 BambooGap/skills-orchestrator 提交 `feat: harden MCP deployment compatibility`,输入是 AI-agent skill 治理工具的 MCP 发布流程:发布后 smoke 不能只信 tag 名和当前分支文件。执行过程新增 verified annotated tag 解析、checkout 目标 SHA、constraints digest、package version、PyPI wheel/sdist 与 SBOM 绑定,并把 post-release smoke 的 `source_sha` 传入 release integrity workflow。产物包括 workflow、`post_release_smoke.py`、release verification 文档和供应链验证文档更新;验证由新增 `test_post_release_smoke.py`、`test_supply_chain.py` 覆盖 SHA、constraints 和 SBOM 口径。适合参考如何给 skill-creator 产物的发布链路加可审计证据。

0GitHub·BambooGap
GitHub2026-07-25

用 skill-creator 治理模式把生产审批审计绑定到原始 sink

7 月 25 日 BambooGap/skills-orchestrator 提交 `fix(pipeline): bind audit recovery to original sink`,输入是生产 pipeline gate 在审计写入中断后可能被不同 audit 目录或不同 payload 恢复的问题。执行过程把 approval outbox 记录为 canonical audit dir、candidate status 和 stable event payload,恢复时拒绝 sink mismatch 或 conflicting event id,并在成功写入后清空 outbox。产物涉及 pipeline service、MCP audit logger、usage report、release integrity attestation 与 PIPELINES/MCP 文档;验证新增严格 audit 重复 event、pipeline recovery、repository hygiene 等测试。适合参考如何让 Skill workflow 的审批、恢复和证据链不被重放或串改。

0GitHub·BambooGap
GitHub2026-07-25

用 skill-creator 质量闸区分缺失、空白和已验证审计证据

7 月 25 日 BambooGap/skills-orchestrator 提交 `fix(audit): distinguish missing evidence`,输入是 usage report 把不存在或空 audit evidence 误标成 verified 的风险。执行过程把 audit_integrity 拆成 disabled、missing、empty、verified、unverified_best_effort 五种状态,并让配置了 audit 目录但没有 `events.jsonl` 的场景以非零退出码失败。产物包括 `load_events_with_integrity`、usage report JSON 字段、MCP 文档和 changelog;验证新增 disabled audit、missing configured audit、empty audit 与 verified chain 的 CLI 测试。适合参考如何给 Skill 运行证据建立 fail-closed 的状态机,而不是用单个布尔值掩盖风险。

0GitHub·BambooGap
GitHub2026-07-25

用 skill-creator 发布检查让 release verification 遇到歧义直接失败

7 月 25 日 BambooGap/skills-orchestrator 提交 `fix: fail closed on release verification ambiguity`,输入是 release verification 中网络失败、安装解析失败和 FastAPI/Starlette 冲突可能被同一类文本匹配误判的问题。执行过程把 post-release smoke 的 package version 读取绑定到 checkout 的 `pyproject.toml` 和本地 `__version__`,并重写 `verify_fastapi_conflict.py` 的网络失败、resolver failure、pip check 冲突分类。产物是 release verification 文档、post-release smoke 脚本和冲突验证脚本;验证增加网络失败优先、安装失败必须有 resolver terminal marker、package version mismatch 等测试。适合参考 Skill 发布自动化里如何把模糊日志分类改成可证明的失败边界。

0GitHub·BambooGap
GitHub2026-07-22

用 skill-creator 审计 Harness 技能库并新增 Skill 生成规范

7 月 22 日的 Harness-everything 提交展示了一次完整的 Skill 质量审计和修复。输入是现有 SKILL.md 集合、mattpocock-skills/writing-great-skills 与 Anthropic skill-creator 原则;执行过程包括新增 `skill-creator` Skill、把可预测性、裁剪、渐进披露、测试原则合并到 Harness-native authoring/audit workflow,去除 33 行 ADHD output-shaping 重复块,修复 6 个 skill 描述漂移、skill-style 大段重复和 dangling pointer。输出证据是 `docs/reports/skill-quality-audit-writing-great-skills-2026-07-22.md` 记录完整 findings/evidence/routing verification,`node self-evolve/scripts/self-regression.js` 100% 通过。适合把 Skill 库治理做成可重复审计流程。

10GitHub·dyphn1

关联 Skill