safety-eval-service/.cursor/skills/completion-check/references/deviations.md

4.8 KiB
Raw Blame History

偏差类型与分形态取证

错误Error

产物主张或行为与可核对的规则、事实、计算或契约不一致。

识别:

  • 用基准中的规则、样例、对照表、公式、法规直接证伪。
  • 区分「实现错误」与「基准错误」:基准自相矛盾记 SX不单派给产物。
  • 数据:类型、值域、唯一性、关联、时间口径、缺失值。
  • 文档:引用、数字、结论与材料一致性;内部矛盾。
  • 流程:步骤、权限、记录、回滚、失败处理是否按约定发生。

信号:固定样例能过、换输入即败;口径不一致;错误语义与约定不符。

虚假实现Fake

完成的是「完成的样子」,不是约定能力或结果。

手法 表现 检测方法
占位/空壳 有入口/标题/结构,无真实处理 非常规输入;是否总返回同一结果
硬编码 仅对演示数据正确 换标识、换人、换环境、换批次
伪连接 声称对接外部,实为本地假数据 断开依赖、改凭证、观察真实副作用
伪持久化 刷新后丢失或不在约定载体 重启、换会话、直查存储/源系统
伪校验 界面有提示,实操无约束 绕过界面或直接写入
伪测试/伪报告 无断言;结论无样本 读断言与样本;要求复现步骤
伪完成标记 Done/勾选与证据不符 勾选项逐条索证
演示剧本 只在脚本化路径成功 打乱顺序、并行、中断、重试

口诀:必须「按剧本操作」才能成功 → 优先怀疑虚假。

偏移实现Drift

做了真东西,但不是约定要的东西。

识别:

  • 目标偷换(要「准确」做成「好看」;要「全量」做成「抽样演示」)。
  • 范围降级(要「双向同步」做成「单向导入」)。
  • 代理指标冒充(「页面能打开」冒充「业务闭环」)。
  • 排除项做成主成果。
  • 语义漂移(「导出」变「截图」;「权限」变「隐藏按钮」)。

记录必须写:约定要求 A实际交付 B差异点 C。禁止只写「不符合」。

遗漏实现Missing

范围内应有而未有。

识别:

  • 差额表:应有 实有 = 遗漏候选。
  • 静默默认:空输入、无权限、超时、部分失败被忽略。
  • 附属交付:说明、迁移、回滚、审计、元数据、交接等在范围内却缺失。
  • 跨对象不一致A 已改,依赖 A 的 B/C 未改。
  • 环境缺失:只在某一环境存在。

排除项内的不做 ≠ 遗漏。

过度实现Over-scope

超出约定且未获授权。

识别:

  • 是否扩大风险面(权限、数据外传、不可逆操作)?
  • 是否污染验收(不稳定依赖、使原标准失效)?

处理:单列超范围项;关键风险可一票否决「完成」。

分形态取证(形态变,判据不变)

软件与自动化

  • 可达性:约定角色从约定入口能否进入目标能力;非特权路径是否走得通。
  • 契约:输入输出、状态迁移、权限、幂等、失败语义。
  • 真实性:真实依赖/存储/权限;禁唯一剧本路径。
  • 回归:是否弄断既有约定行为。

文档与知识

  • 主张有来源且转述正确。
  • 覆盖约定问题,而非只换标题。
  • 结论可由文中证据推出;禁套话充篇幅。

数据与标注

  • Schema/字典/口径一致。
  • 完整性、一致性、时效、去重、脱敏。
  • 标注指导与抽检/金标对照。

流程、运营与线下

  • 动作真实发生(记录、票据、系统痕迹、实物)。
  • 时间窗、角色、审批链按约定。
  • 异常与回退曾演练或真实触发。

设计、方案与研究

  • 是否回答约定问题,而非更易展示的问题。
  • 假设明示;限制不隐瞒。
  • 下一步可被独立接手,而非只有愿景句。

混合交付

  • 先拆检测单元再验,禁止打包口头通过。
  • 交接接口(人机/系统间/组织间)单独设单元。

常见陷阱

陷阱 应对
以忙碌代完成 回到检测单元与成功标准
以演示代验收 换样本、断依赖、打乱步骤
以存在代正确 先做可达度,再做正确度与闭合度检验
以内部可达代约定可达 用约定角色与约定入口复验;否则记不可达或虚假
以相近代符合 写清 A→B 偏移点
基准漂移 变更须记录并经确认
环境侥幸 约定环境复验;否则未证实
合并偏差 强制选择偏差类型
清单幻觉 勾选与证据绑定
范围偷换 重读范围与排除项
完美主义误杀 先看是否命中成功标准
模板绑架 除非基准明文要求,目录/技术栈不构成通过条件