Repository navigation
Expand file tree
/
Copy pathskillhub_meta.json
More file actions
25 lines (25 loc) · 15 KB
/
Copy pathskillhub_meta.json
File metadata and controls
25 lines (25 loc) · 15 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
{
"display_name": "软件功能全量验证器",
"slug": "software-verifier",
"version": "1.11.0",
"category": "开发工具",
"tags": [
"软件测试",
"功能走查",
"回归验证(按 spec 回归断言可用;T7 翻译器已就绪,Layer3 run-mode 待接)",
"自动化",
"无头浏览器",
"自进化",
"自愈",
"视觉回归",
"MCP验收",
"防偷懒",
"AI监督",
"追问对账"
],
"short_description": "像真人一样按说明书把软件功能全量验证一遍:无头 Edge/Electron/小程序/Appium 真实点击填表 → 截图抓错断言 → ✅/❌ 报告。只验证不修复。v1.5.0 新增【防偷懒监督器】(已接线):追问-对账-门禁三阶段闭环,verify.cjs 主流程自动驱动,跑完后对账并把结论挂到 result.supervisor;verdict 只看覆盖、不看功能点 assert 是否通过;插件缺失时宿主行为逐字节不变。v1 只做 feature 级对账,且暂无关闭监督的 CLI 开关。。当前以诚实标签「防偷懒」等披露;接线并验收通过后改为正式标签 v1.9.0 新增交互式追问(--question 手动模式):按 6 类测试点(输入边界/状态转换/并发竞态/异常恢复/性能超时/安全注入)逐轮向操作者提问,人工补充的测试点成为真实契约纳入对账(无执行日志即 dangling→REJECT,与自动模式同一红线);stdin EOF 视为「无补充」。另新增 spec 覆盖建议(result.specCoverage):关键词启发式扫描 spec 已覆盖/缺失的 6 类测试点,纯建议、不进入契约、不影响判定。 v1.10.0 交互式追问升级为默认开 + 意见记忆 + JIT:TTY 终端每跑开头确认一次、CI/管道自动跳过;用户意见按项目跨 run 落盘(spec 同目录),给过的补充点静默自动注入、拒过的不再重复问;开头可一次拒(之后仅对 spec 真出现的新维度 JIT 追问一次),JIT 被拒则全局不再问;--no-question 硬关、--question 强制全问。。 v1.8.0 新增 T7(confirmed finding → Layer 3 回归断言 spec 翻译器):把 T5 判定的 confirmed finding 翻译成 Layer 3 可消费的回归断言 spec,闭环最后一段;Layer 3 加 run-mode 前 regression spec 无执行入口、不产生回归结果。 v1.10.1 修复连续追问在管道 stdin 下的丢行(真浏览器端到端冒烟暴露):旧实现每读一行就摘掉监听器,而 readline 会把同一块数据里的多行连续派发 → 第 2 行起全部落空,--question 在 CI/脚本里只收到第一条答案、其余静默判「无补充」,JIT 更把 EOF 当拒绝并落盘全局不再问。现改为常驻监听 + 队列,一次喂 6 行与逐行手敲都正确(已补回归断言)。 v1.11.0 收紧执行证据源(真机端到端暴露的红线级修复):此前对账把账本里的计划条目也算执行证据,而 seal 阶段会为每条契约写一条「[契约]」计划记录 —— 等于登记契约即自动判「已完成」,任何从未执行的人工补充项都不会被判漏检,REJECT 实际不可达。现改为:执行证据只认 result.json 的功能点结果;账本/审计降级为辅证(只统计条数、不影响判定);报告台账新增「执行证据源」行,如实标注 feature_results / gaps_only / none。**行为收紧**:只有账本、没有功能点结果的运行,契约会全部判漏检 → REJECT(此前被误判 PASS)。",
"long_description": "把一份说明书(或你自列的清单)转成结构化 spec,用本机自动化驱动**像真人一样**打开软件、逐个点按钮/填表/触发功能、截图、抓报错、断言预期,产出带 ✅/❌ 表格与截图的报告(Markdown + HTML)。引擎与被测软件解耦:换软件只换 spec。铁律是**只验证不修复**。\n\n驱动:browser(无头 Edge,默认)/ electron / miniprogram(微信小程序)/ appium(原生 App)。步骤 DSL:clickText / clickSel / fillSel / fillNear / fileSel / wait / waitSel / exec / screenshot / assert / ai。\n\n自愈与知识沉淀:\n· 【选择器自愈 Healer】选择器失效时用稳定信号找回等价元素;\n· 【零依赖视觉回归】DOM 布局指纹区分真缺陷与设计变更;\n· 【自进化知识库】跑完把踩坑沉淀为可复用解法,命中已知坑在报告附解法;坑库自维护(按信号词签名自动归并,库自洁净);\n· 【贡献回流】--share 一键脱敏回传,社区越大 playbook 越准。\n\nv1.3.0 行为闭环(学到 → 动作前拦截,不再是“只写不读”):\n· 【遮挡自愈】点击/等待被 loading/模态遮罩拦截时三档自愈(清遮罩重试 → 原生 DOM click 兜底),把 “element intercepts pointer events” 从反复失败变成不再发生,命中记入报告「自愈记录」;\n· 【复发哨兵】同一指纹被反复落地却仍复发 → 判定该候选无效并回写否决,报告显性打印“loop 在空转”,不再自欺;\n· 【网络与端口预检自愈】导航前等待目标可达(网络类)、launch 前探测端口占用则改用空闲端口;**证据驱动**:自动动作只由本机“学到的复发记忆”触发,坑库仅用于提示;\n· 【跨宿主指纹归一】剥离调用栈帧,同源错误在不同宿主收敛到同一指纹,共享知识库真正可跨宿主命中;\n· 引擎/内核 vendor 到 lib/,接入自包含(详见 EVOLUTION.md)。\n\n仅需 node ≥ 18 + playwright-core,零第三方运行时依赖。v1.4.0 去守门员化(G/P/I 双线贯通 + 读侧闭环):agent-evolution 不再只当 E 类错误的守门员——新增期望落差(G)/计划偏离(P)/悬挂未完结(I) 三类信号接入进化账本并落盘,外部解法经 advisory 读回 verify.cjs 报告「进化提示」段,资料→经验→行为真正闭合成环,解除只写不读。\n\nv1.4.4 归因拆两层 + 采集通道补全(第三方靶子验证与分类器审计暴露):\n· 【归因拆两层】HTTP 状态层(服务端确实应答 4xx/5xx)不再默认洗成\"环境噪声\"——同源→宿主并计入 FAIL、第三方源→环境、导航入口 URL 本身 4xx→工具(spec/配置问题);网络传输层(net::ERR_*)按来源判:同源→宿主、跨源→环境。v1.4.3 因一刀切规则导致同源 404/500 被洗白(压力样本实测 2/2 误判)。\n· 【采集通道补全】驱动补 requestfailed 与 response(status≥400) 两个通道,并把请求 URL 附在消息尾部供判同源/跨源;审计实测真实站点 18/31 条请求失败此前对工具完全不可见。同一次失败两通道各出现一次时按 (状态码|URL) 归并,只出一条。\n· 【非功能性请求单列】favicon/source-map 单独成桶、不计入 FAIL(证据:真实运行中出现浏览器自发起且页面未声明的 /favicon.ico 404)。\n· 【导航/前置阶段错误】preErrors 显式收下(此前被首个功能点清理直接丢弃,导致\"入口 URL 不可用\"问题完全不可见)。\n· 【白名单前缀显式化】第三方库全局缺失不再隐式依赖 ReferenceError: 前缀(去掉前缀也稳定判环境),库名族用显式前缀声明 + 有界 token 匹配(MyHandlebars 之类仍判宿主,不被误吞)。\n\nv1.4.3 错误归因与静默失效修复(第三方靶子验证暴露):把错误按「宿主缺陷 / 环境噪声 / 工具自身」三类归因——环境噪声(网络受限、第三方 CDN 全局缺失等)不再把无关功能点染成 FAIL,但带归因理由完整出现在报告里(绝不静默丢弃),需要严格口径时用 --strict-env 把环境噪声也计入 FAIL;修复截图失败被改写成 ok:true 的静默失效(现显式进 result.toolIssues 与报告「工具自身问题」段);修复安全黑名单误杀合法断言(大小写敏感匹配,实测大小写变体不构成绕过)。\n\nv1.4.5 统一版(两条分叉线合并 + download 根因修复):\n· 【合并分叉】此前存在两条互不包含的线:一条实现了 api/openapi/setLocale/download 步骤与断言,另一条带 v1.4.2–1.4.4 全部修复并把上述能力标注为\"规划中\"。1.4.5 取并集,文档与代码一致。\n· 【download 必然超时修复】驱动在 click 之后才 waitForEvent('download'),而下载事件在 click 期间就已派发 → 必然超时(用户坑库里\"已落地 2 次仍复发 2 次\"的根因)。裸 playwright 对照:page.on('download') 计数=1 但 waitForEvent 超时;改为 click 前建立等待 promise + 复用已注册回调捕获的事件后正常(对照 203ms 捕获成功)。\n· 【版本唯一真源】MCP serverInfo.version 从 SKILL.md frontmatter 动态读取;打包排除 .bak/.orig/.old 残留(此前备份文件会被打进包,内含修复前代码)。\n· 【能力实测证据】api 步骤/断言、openapi 契约断言、setLocale 步骤均在本地夹具上实测通过;未知断言键仍严格判 FAIL(v1.4.2 语义保留)。\n\nv1.4.6 公开产物隐私修复(公开物不再携带私有宿主名):\n· 【真根因】evolve 在「命中已知坑」分支会把真实宿主名 push 进坑库 apps 字段,与同文件新建坑写 <anon> 自相矛盾,使随包发布/上架的 pitfalls.json 携带私有项目名(A/B 对照:修复前写入真实名、修复后写入 <anon>,两臂都确发生写入)。\n· 【修法】新增 APP_PLACEHOLDER 常量统一两处写入;匿名化规则收口到 contribute.sanitizePit(出站 make/share 与入站 merge 的唯一必经点),放行占位符与公开域名、其余归 <anon>;单测 30 项含 8 条反例(防退化成\"全洗白\")。\n· 【存量清洗】坑库 15 处真实名匿名化(条目/命中/共享数不变)、实名示例改名 examples/demo-spec.json、4 处注释去点名。\n· 【发布面加固】运行态文件只留本地且已从仓库移除;三端门禁新增泄漏断言(远端含不可发布路径即报错)。\n\nv1.5.0 不偷懒监督器(追问-对账-门禁三阶段闭环):\n· 【追问扩容】验证器提交初始验证计划后,按 6 类测试点类型逐类追问(每类最多 3 轮、连续 2 轮无新增即收敛,防死循环),逼出「原本没想到要测」的用例;追问产出的每一项都写入宿主既有 tapPlan 作为正式契约,并保留 initial / questioning 来源标记以供对账追溯。\n· 【硬对账】验证器声称「全部完成」时,拿契约对照**真实执行日志**(ledger.jsonl / audit.jsonl)逐项比对:有日志→completed;无日志但有跳过理由→skipped;无日志且无理由→dangling。**口头声称「测了」一律不算数**——这是整个机制存在的理由,否则追问逼出的契约可以随口认领。\n· 【门禁与报告注入】有任一 dangling 即 REJECT,报告顶部自动标注「⚠️ 监督审计未通过」并把「监督对账台账」区块 prepend 到宿主报告之前;区块数据全部来自执行日志,由插件生成,验证器无法手写覆盖。仅 skipped → PASS_WITH_WARNINGS;全部 completed → PASS。\n· 【接入纪律】默认关闭(需显式 enable:true),插件缺失/加载失败/任何内部异常一律 fail-open,宿主报告行为与接入前逐字节相同——监督器出问题不能让被验证的流程崩溃。全部能力走宿主既有 tapPlan/tapHanging 通道,不新建账本。\n\nv1.5.1 默认开启修正:初版默认关闭导致「装了等于没装」,用户看不到任何效果。现与内核 enabled:true 一致改为默认开启,安全性不再依赖默认关,而由三档判定保证——① 压根没起监督会话 → REJECT 拦死(无契约不得放行);② 起了会话但未声明测试点 → NOT_APPLICABLE 不拦(尚未进入监督流程);③ 声明了契约但无执行日志 → REJECT 拦。显式关闭用 enable:false。三条已写成测试断言防回退。\n\n\nv1.5.2 执行证据源修正(真实项目实测暴露):初版只读内核账本(ledger.jsonl / audit.jsonl)作为执行证据,但账本里**只有落差与错误记录**(error/expectation/plan/thread),**没有「功能点执行成功」的记录**——在真实项目上把 34 个确实测过的功能点全判成漏检(假阳性 100%)。现改为双源:① **result.json 为主源**(每个功能点带 id/name/pass/errors/screenshot,这才是「跑没跑」的权威证据);② ledger 为辅源(落差佐证)。并新增 evidenceKind 字段如实区分 feature_results / gaps_only / none——**只有落差记录不能证明功能点跑过**,混为一谈等于放过造假。已加3 条测试钉死该行为。真机实测(lyric-studio 34 功能点):34 正确识别为已完成,追问补出的 10 项真实缺口(并发编辑冲突、存档接口未鉴权、导出中断等)全部判dangling → REJECT。\n\n v1.9.0 新增交互式追问(--question 手动模式):按 6 类测试点(输入边界/状态转换/并发竞态/异常恢复/性能超时/安全注入)逐轮向操作者提问,人工补充的测试点成为真实契约纳入对账(无执行日志即 dangling→REJECT,与自动模式同一红线);stdin EOF 视为「无补充」。另新增 spec 覆盖建议(result.specCoverage):关键词启发式扫描 spec 已覆盖/缺失的 6 类测试点,纯建议、不进入契约、不影响判定。\n\n v1.10.0 交互式追问升级为默认开 + 意见记忆 + JIT:TTY 终端每跑开头确认一次、CI/管道自动跳过;用户意见按项目跨 run 落盘(spec 同目录),给过的补充点静默自动注入、拒过的不再重复问;开头可一次拒(之后仅对 spec 真出现的新维度 JIT 追问一次),JIT 被拒则全局不再问;--no-question 硬关、--question 强制全问。 v1.10.1 修复连续追问在管道 stdin 下的丢行(真浏览器端到端冒烟暴露):旧实现每读一行就摘掉监听器,而 readline 会把同一块数据里的多行连续派发 → 第 2 行起全部落空,--question 在 CI/脚本里只收到第一条答案、其余静默判「无补充」,JIT 更把 EOF 当拒绝并落盘全局不再问。现改为常驻监听 + 队列,一次喂 6 行与逐行手敲都正确(已补回归断言)。 v1.11.0 收紧执行证据源(真机端到端暴露的红线级修复):此前对账把账本里的计划条目也算执行证据,而 seal 阶段会为每条契约写一条「[契约]」计划记录 —— 等于登记契约即自动判「已完成」,任何从未执行的人工补充项都不会被判漏检,REJECT 实际不可达。现改为:执行证据只认 result.json 的功能点结果;账本/审计降级为辅证(只统计条数、不影响判定);报告台账新增「执行证据源」行,如实标注 feature_results / gaps_only / none。**行为收紧**:只有账本、没有功能点结果的运行,契约会全部判漏检 → REJECT(此前被误判 PASS)。",
"icon": "icon.png (单独上传,不进 zip)",
"package": "software-verifier.zip (无图片纯文本,手动上传)",
"repo_url": "https://github.com/shuigui-ou/software-verifier"
}