双模型审计的共享偏差与"审计 ≠ 判决"边界
风险描述
把第二模型作为审计工具时,第二模型可能与第一模型共享训练偏差或共同误读,导致两个模型重复相同错误;第二模型的"预估评分"并不等于教师真实评分,审计输出不能替代人工回到原文裁决。
触发场景
- 第一模型和审计模型都基于相似的训练数据,对某概念有相同的误解或共同的"听起来合理"偏差。
- 审计模型的预估评分依赖其对教师评价标准的内部建模,与真实评分标准不一致。
- 学生把审计输出当作最终判决,没有回到原 PDF、课程材料和可验证题录中确认。
与已有风险页的关系
人工复核点
缓解方法
- 始终提供原论文摘要或结论作为基准文献。
- 在审计问题清单中要求具体位置和可验证依据,而不是泛泛评价。
- 把审计阶段和裁决阶段分开:审计发现问题,裁决做最终事实判断。
边界声明
- 来源未对"双模型审计的准确率"做对照实验;本风险页的描述基于作者的方法论声明,不构成对 LLM-as-judge 整体可靠性的裁决。
- 本 wiki 不据此推断"所有 LLM 审计都不可靠",也不据此推断"第一模型 + 第二模型审计"组合一定优于单人审稿。