逐條核驗 AI 生成的參考文獻
可以得到什麼
對 AI(特別是 ChatGPT)給出的每一條參考文獻,輸出一份經過存在性、元數據一致性與內容支持性核驗的可信來源清單,並對每條書目標記核驗狀態:
- 未驗證: 在已查詢的多個目錄與資料庫中始終檢索不到。
- 存在但元數據有誤: 真實論文,但作者、年份、卷期、頁碼、期刊等欄位有錯。
- 相似文獻存在但並非同一篇: 找到主題相近的真實論文,但與模型給出的書目不一致。
- 需要回到原文繼續檢查: 書目真實,但引用句是否被原文支持還要再核對。
適合哪些情況
- 用 AI 推薦文獻、生成文獻綜述、撰寫課程或畢業論文、整理研究計畫參考文獻時。
- 編輯、指導老師、圖書館員、研究者審查別人提交的 AI 草稿時。
- 任何要把聊天模型返回的書目寫入正式材料之前的必經步驟。
需要準備什麼
- 模型給出的書目原文與完整問答記錄(含使用日期與模型版本)。
- 根據語言與學科選用的檢索入口,特別是:
- 中文:圖書館目錄、臺灣「國家圖書館」期刊文獻系統、華藝、CNKI、Google。
- 英文醫學主題:PubMed,再以 Scopus、Web of Science 交叉確認。
- 其他主題:Crossref、Google Scholar、出版商頁面、機構典藏庫。
- 書目欄位拆分表(作者、題名、期刊、年份、卷期、頁碼、DOI、語言、主題)。
- 一份檢索日誌範本,可記錄已用資料庫、關鍵詞、檢索日期、結果數量與最相似條目。
常見做法
- 保存原始問答。 不要只複製參考文獻列表,否則後續無法判斷模型生成語境。
- 把書目拆成欄位。 任一欄位缺失先標記缺失,不要讓 AI「補齊」後直接當作事實。
- 按語言與學科選擇入口並交叉檢索。 單一入口無結果不足以完成判定。
- 做完整題名檢索。 用引號或題名字段做精確檢索,並嘗試「作者+年份」組合。
- 完整題名無結果時使用題名拆分檢索。 見 題名拆分檢索(Title Decomposition Search)。
- 逐欄位比對相似結果。 對相近論文逐欄位檢查作者、題名、期刊、年份、卷期頁碼、DOI 是否一致。
- 回到 DOI 解析頁或出版商頁面做最終確認。 不能只信任二手轉載或聚合頁面。
- 檢查內容是否支持引用句。 書目真實只解決「有沒有這篇」,不替代正文論斷的核對;可參考 檢查引用句是否被原文支持。
- 記錄無法確認的狀態。 對舊刊、地方出版物、會議論文摘要、預印本或資料庫覆蓋不足的條目,寫成「當前無法驗證」並註明已查入口。
真實案例與教程
限制與檢查點
- 過程的時間成本不低;多資料庫檢索需要檢索知識,部分資料庫需要機構訂閱;題名拆分、相似論文比對與原文閱讀都必須人工完成。
- AI 可以幫助把欄位排成表格或提出檢索詞,但不能作為自己的獨立證人;讓同一個或另一個生成模型判斷「這篇文獻是否真實」,模型仍可能依據相似語言再次生成看似合理的解釋。
- 「查不到 ≠ 不存在」。某些地方期刊、舊文獻、未被特定資料庫收錄的材料確實可能難以檢索。
- 不能據此計算任何模型在全部學科或當前版本的虛構比例。
相關任務與方法