RAGには、膨大なデータの中から関連性のある短い文章を探し出すのが難しいという課題があります。そんな中、研究者らは、より大きな「塊」で情報を探すことで、検索の効率を劇的に向上させる手法を考案しました。
参照論文情報
- タイトル：LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs
- 著者：Ziyan Jiang, Xueguang Ma, Wenhu Chen
- 所属：University of Waterloo
背景
外部知識を活用してLLMの能力を拡張する「検索拡張生成（RAG）」が注目を集めています。質問に関連する情報を外部データベースから検索し、情報をLLMに与えることで、より正確で適切な回答を生成する手法です。
RAGシステムでは、短い文章（例えば通常100語程度）を検索単位として使用することが多いです。しかしそれでは検索システムが多くの候補を検索する必要があり過度の負担がかかります。また、短い文章を検索単位とすることで、文脈の一貫性が失われる恐れもあります。
今回研究者らはそのようなRAGにおける現状の課題に対応するため、「LongRAG」というフレームワークを提案しています。長い文章を検索単位として採用することで、検索の負担を軽減する手法です。
以下では、そんな「LongRAG」についてより詳しく紹介していきます。
