safety-eval-service/.cursor/skills/completion-check/references/deviations.md

127 lines
4.8 KiB
Markdown
Raw Permalink Normal View History

# 偏差类型与分形态取证
## 错误Error
产物主张或行为与可核对的规则、事实、计算或契约不一致。
识别:
- 用基准中的规则、样例、对照表、公式、法规直接证伪。
- 区分「实现错误」与「基准错误」:基准自相矛盾记 SX不单派给产物。
- 数据:类型、值域、唯一性、关联、时间口径、缺失值。
- 文档:引用、数字、结论与材料一致性;内部矛盾。
- 流程:步骤、权限、记录、回滚、失败处理是否按约定发生。
信号:固定样例能过、换输入即败;口径不一致;错误语义与约定不符。
## 虚假实现Fake
完成的是「完成的样子」,不是约定能力或结果。
| 手法 | 表现 | 检测方法 |
|------|------|----------|
| 占位/空壳 | 有入口/标题/结构,无真实处理 | 非常规输入;是否总返回同一结果 |
| 硬编码 | 仅对演示数据正确 | 换标识、换人、换环境、换批次 |
| 伪连接 | 声称对接外部,实为本地假数据 | 断开依赖、改凭证、观察真实副作用 |
| 伪持久化 | 刷新后丢失或不在约定载体 | 重启、换会话、直查存储/源系统 |
| 伪校验 | 界面有提示,实操无约束 | 绕过界面或直接写入 |
| 伪测试/伪报告 | 无断言;结论无样本 | 读断言与样本;要求复现步骤 |
| 伪完成标记 | Done/勾选与证据不符 | 勾选项逐条索证 |
| 演示剧本 | 只在脚本化路径成功 | 打乱顺序、并行、中断、重试 |
口诀:必须「按剧本操作」才能成功 → 优先怀疑虚假。
## 偏移实现Drift
做了真东西,但不是约定要的东西。
识别:
- 目标偷换(要「准确」做成「好看」;要「全量」做成「抽样演示」)。
- 范围降级(要「双向同步」做成「单向导入」)。
- 代理指标冒充(「页面能打开」冒充「业务闭环」)。
- 排除项做成主成果。
- 语义漂移(「导出」变「截图」;「权限」变「隐藏按钮」)。
记录必须写:约定要求 A实际交付 B差异点 C。禁止只写「不符合」。
## 遗漏实现Missing
范围内应有而未有。
识别:
- 差额表:应有 实有 = 遗漏候选。
- 静默默认:空输入、无权限、超时、部分失败被忽略。
- 附属交付:说明、迁移、回滚、审计、元数据、交接等在范围内却缺失。
- 跨对象不一致A 已改,依赖 A 的 B/C 未改。
- 环境缺失:只在某一环境存在。
排除项内的不做 ≠ 遗漏。
## 过度实现Over-scope
超出约定且未获授权。
识别:
- 是否扩大风险面(权限、数据外传、不可逆操作)?
- 是否污染验收(不稳定依赖、使原标准失效)?
处理:单列超范围项;关键风险可一票否决「完成」。
## 分形态取证(形态变,判据不变)
### 软件与自动化
- 可达性:约定角色从约定入口能否进入目标能力;非特权路径是否走得通。
- 契约:输入输出、状态迁移、权限、幂等、失败语义。
- 真实性:真实依赖/存储/权限;禁唯一剧本路径。
- 回归:是否弄断既有约定行为。
### 文档与知识
- 主张有来源且转述正确。
- 覆盖约定问题,而非只换标题。
- 结论可由文中证据推出;禁套话充篇幅。
### 数据与标注
- Schema/字典/口径一致。
- 完整性、一致性、时效、去重、脱敏。
- 标注指导与抽检/金标对照。
### 流程、运营与线下
- 动作真实发生(记录、票据、系统痕迹、实物)。
- 时间窗、角色、审批链按约定。
- 异常与回退曾演练或真实触发。
### 设计、方案与研究
- 是否回答约定问题,而非更易展示的问题。
- 假设明示;限制不隐瞒。
- 下一步可被独立接手,而非只有愿景句。
### 混合交付
- 先拆检测单元再验,禁止打包口头通过。
- 交接接口(人机/系统间/组织间)单独设单元。
## 常见陷阱
| 陷阱 | 应对 |
|------|------|
| 以忙碌代完成 | 回到检测单元与成功标准 |
| 以演示代验收 | 换样本、断依赖、打乱步骤 |
| 以存在代正确 | 先做可达度,再做正确度与闭合度检验 |
| 以内部可达代约定可达 | 用约定角色与约定入口复验;否则记不可达或虚假 |
| 以相近代符合 | 写清 A→B 偏移点 |
| 基准漂移 | 变更须记录并经确认 |
| 环境侥幸 | 约定环境复验;否则未证实 |
| 合并偏差 | 强制选择偏差类型 |
| 清单幻觉 | 勾选与证据绑定 |
| 范围偷换 | 重读范围与排除项 |
| 完美主义误杀 | 先看是否命中成功标准 |
| 模板绑架 | 除非基准明文要求,目录/技术栈不构成通过条件 |