3 月 31 日消息，無論當下 AI 聊天機器人有多么強大，都會或多或少存在一大飽受詬病的行為 —— 以看上去令人信服的方式，向用戶提供與事實不符的回答。簡單來說，AI 有時會在回答中“滿口跑火車”，甚至“造謠”。
圖源 Pixabay
防止 AI 大模型出現這種行為并非易事，且是一項技術性的挑戰(zhàn)。不過據外媒 Marktechpost 報道，谷歌 DeepMind 和斯坦福大學似乎找到了某種變通辦法。
研究人員推出了一種基于大語言模型的工具 —— 搜索增強事實評估器（IT之家注：原名為 Search-Augmented Factuality Evaluator，簡稱 SAFE），可對聊天機器人生成的長回復進行事實核查。其研究結果與實驗代碼、數據集現已公布，點此查看
該系統(tǒng)可通過四個步驟對聊天機器人生成的回復進行分析、處理和評估，以驗證準確性和真實性：將答案分割成單個待核查內容、對上述內容進行修正、再與谷歌搜索結果進行比較。隨后，該系統(tǒng)還會檢查各個事實與原始問題的相關性。
為評估其性能，研究人員創(chuàng)建了包含約 16000 個事實的數據集 LongFact，并在來自 Claude、Gemini、GPT、PaLM-2 的 13 個大語言模型上測試了該系統(tǒng)。結果顯示，在對 100 個有爭議的事實進行的重點分析中，SAFE 的判定在進一步審查下正確率達到 76% 。與此同時，該框架還具備經濟性優(yōu)勢：成本比人工注釋便宜 20 多倍。
