safety-eval-service/.cursor/skills/completion-check/references/deviations.md

127 lines
4.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters!

This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.

# 偏差类型与分形态取证
## 错误Error
产物主张或行为与可核对的规则、事实、计算或契约不一致。
识别:
- 用基准中的规则、样例、对照表、公式、法规直接证伪。
- 区分「实现错误」与「基准错误」:基准自相矛盾记 SX不单派给产物。
- 数据:类型、值域、唯一性、关联、时间口径、缺失值。
- 文档:引用、数字、结论与材料一致性;内部矛盾。
- 流程:步骤、权限、记录、回滚、失败处理是否按约定发生。
信号:固定样例能过、换输入即败;口径不一致;错误语义与约定不符。
## 虚假实现Fake
完成的是「完成的样子」,不是约定能力或结果。
| 手法 | 表现 | 检测方法 |
|------|------|----------|
| 占位/空壳 | 有入口/标题/结构,无真实处理 | 非常规输入;是否总返回同一结果 |
| 硬编码 | 仅对演示数据正确 | 换标识、换人、换环境、换批次 |
| 伪连接 | 声称对接外部,实为本地假数据 | 断开依赖、改凭证、观察真实副作用 |
| 伪持久化 | 刷新后丢失或不在约定载体 | 重启、换会话、直查存储/源系统 |
| 伪校验 | 界面有提示,实操无约束 | 绕过界面或直接写入 |
| 伪测试/伪报告 | 无断言;结论无样本 | 读断言与样本;要求复现步骤 |
| 伪完成标记 | Done/勾选与证据不符 | 勾选项逐条索证 |
| 演示剧本 | 只在脚本化路径成功 | 打乱顺序、并行、中断、重试 |
口诀:必须「按剧本操作」才能成功 → 优先怀疑虚假。
## 偏移实现Drift
做了真东西,但不是约定要的东西。
识别:
- 目标偷换(要「准确」做成「好看」;要「全量」做成「抽样演示」)。
- 范围降级(要「双向同步」做成「单向导入」)。
- 代理指标冒充(「页面能打开」冒充「业务闭环」)。
- 排除项做成主成果。
- 语义漂移(「导出」变「截图」;「权限」变「隐藏按钮」)。
记录必须写:约定要求 A实际交付 B差异点 C。禁止只写「不符合」。
## 遗漏实现Missing
范围内应有而未有。
识别:
- 差额表:应有 实有 = 遗漏候选。
- 静默默认:空输入、无权限、超时、部分失败被忽略。
- 附属交付:说明、迁移、回滚、审计、元数据、交接等在范围内却缺失。
- 跨对象不一致A 已改,依赖 A 的 B/C 未改。
- 环境缺失:只在某一环境存在。
排除项内的不做 ≠ 遗漏。
## 过度实现Over-scope
超出约定且未获授权。
识别:
- 是否扩大风险面(权限、数据外传、不可逆操作)?
- 是否污染验收(不稳定依赖、使原标准失效)?
处理:单列超范围项;关键风险可一票否决「完成」。
## 分形态取证(形态变,判据不变)
### 软件与自动化
- 可达性:约定角色从约定入口能否进入目标能力;非特权路径是否走得通。
- 契约:输入输出、状态迁移、权限、幂等、失败语义。
- 真实性:真实依赖/存储/权限;禁唯一剧本路径。
- 回归:是否弄断既有约定行为。
### 文档与知识
- 主张有来源且转述正确。
- 覆盖约定问题,而非只换标题。
- 结论可由文中证据推出;禁套话充篇幅。
### 数据与标注
- Schema/字典/口径一致。
- 完整性、一致性、时效、去重、脱敏。
- 标注指导与抽检/金标对照。
### 流程、运营与线下
- 动作真实发生(记录、票据、系统痕迹、实物)。
- 时间窗、角色、审批链按约定。
- 异常与回退曾演练或真实触发。
### 设计、方案与研究
- 是否回答约定问题,而非更易展示的问题。
- 假设明示;限制不隐瞒。
- 下一步可被独立接手,而非只有愿景句。
### 混合交付
- 先拆检测单元再验,禁止打包口头通过。
- 交接接口(人机/系统间/组织间)单独设单元。
## 常见陷阱
| 陷阱 | 应对 |
|------|------|
| 以忙碌代完成 | 回到检测单元与成功标准 |
| 以演示代验收 | 换样本、断依赖、打乱步骤 |
| 以存在代正确 | 先做可达度,再做正确度与闭合度检验 |
| 以内部可达代约定可达 | 用约定角色与约定入口复验;否则记不可达或虚假 |
| 以相近代符合 | 写清 A→B 偏移点 |
| 基准漂移 | 变更须记录并经确认 |
| 环境侥幸 | 约定环境复验;否则未证实 |
| 合并偏差 | 强制选择偏差类型 |
| 清单幻觉 | 勾选与证据绑定 |
| 范围偷换 | 重读范围与排除项 |
| 完美主义误杀 | 先看是否命中成功标准 |
| 模板绑架 | 除非基准明文要求,目录/技术栈不构成通过条件 |