复数实验室 五款模型 400 次提问与 3123 次引用核验案例
背景和目标
为了让"AI 引用是否可信"这一问题从个人经验变成可量化事实，复数实验室在复旦大学新闻学院《数据新闻与可视化》课程中设计了对照实验。目标是回答两个问题：
- 联网搜索和给出的链接，能否保证 AI 回答有据可查？
- 开启深度思考 / 推理模式后，引用错误是否会下降？
输入与条件
- 5 款主流模型（原文刻意匿名，不补全）
- 8 组问题，围绕团队成员各自专业背景设计
- 每款模型分别在"开启深度思考"和"不开启深度思考"两种设置下作答
- 单次实验得到 5 × 8 × 2 = 80 组回答，整体汇总为 400 个回答
- 共记录 3123 次引用，逐条做人工支持性判断
过程
- 团队围绕各自专业背景分别设计问题，兼顾不同领域。
- 在统一提示词下，让每款模型分别在两种推理设置下回答 8 组问题。
- 收集回答中的所有引用链接。
- 对每条引用执行人工"支持性判断"：打开链接、检查页面、定位证据、判断是否完整支持文本表述。
- 把不能完整支持的引用按错误类型归档：链接失效、无中生有、张冠李戴、时间混乱、以全概偏 / 以偏概全、计算错误等。
- 汇总统计 400 个回答、3123 次引用的整体支持率与错误类型分布。
产物或结果
- 400 个模型回答
- 3123 次引用记录
- 支持性判断结果：仅 1706 次引用被判断为完整支持回答，约占 54.63%
- 不能完整支持的引用比例：45.37%
- 错误类型分布中，"无中生有"出现 952 次，是最突出的错误
- 关键结论：深度思考模式在该实验中未稳定降低引用错误
限制
- 样本规模：单一课程实验、单一问题集、单一时间窗（2025-07 前后）
- 模型匿名：原文未点名五款模型的具体身份，Wiki 不补全
- 评测维度：仅评测"链接是否能支持文本表述"，不评测回答整体的事实性或有用性
- 时效性：模型版本会更新，网页内容会变化，所有引用应重新核验
- 不可外推：不能把 45.37% 套用为"AI 总体准确率"或"AI 引用普遍不可靠"
相关教程和工具
来源