時間推理是 RAG 的弱點——MRAG 如何用計分規則解決時序問題
這篇文章是「Advanced RAG 架構思考」系列的第四篇技術解析,對應的綜述概覽在這裡。本篇聚焦 MRAG(arXiv:2412.15540),完整拆解 TEMPRAGEVAL benchmark 的設計動機、MRAG 三模組架構,以及時序計分規則的具體實現邏輯。
前言 # 「2021 年 5 月 6 日,英國首相是誰?」
正確答案是 Boris Johnson。他在 2019 年 7 月 24 日就任,2022 年 9 月才離職。所以 2021 年 5 月 6 日,他確實在任。
但如果你的 RAG 系統去搜尋這個問題,它很可能找到 Nicola Sturgeon 的相關文件——因為她在 2021 年 5 月 6 日蘇格蘭議會選舉中獲勝的新聞,正好包含「2021 年 5 月 6 日」這個精確日期,而 RAG 系統的日期匹配機制把它識別為「高度相關的文件」。
系統輸出:「Nicola Sturgeon」。
這是一個自信、清晰、完全錯誤的答案。更麻煩的是,如果你不知道正確答案,你很難判斷它是錯的——畢竟它提供了一個「真實事件」(Sturgeon 確實在那天贏得選舉)作為依據。