Googleの研究チームが、大規模言語モデル（LLMs）内での「検索強化生成（RAG）」システムの理解と改善のため、「十分な文脈」という新しい考え方を紹介しました。
このアプローチにより、LLMがクエリに正確に答えられるのに十分な情報を持っているかどうかを判断できるようになり、事実の正確さが最も重要視される企業アプリケーションの開発者にとって重要な要素です。
しかし、RAGシステムは正しくない回答を自信を持って提供したり、関係のない情報に気を取られたり、長いテキストから適切に答えを抽出できないといった問題も抱えています。
研究者たちが新たに開発した「選択的生成」フレームワークでは、メインのLLMが答えを生成するか棄権するかを決定する小さい「介入モデル」を使用します。
これにより、精度とカバレッジ（答えることのできる質問の割合）の間で調整可能なトレードオフが実現しました。
また、データセットに基づいた実際の評価では、LMベースの自動評価システムを使用して個々の事例が十分な文脈を持っているかどうかをラベリングできることも分かりました。
結果として、正確な応答の割合を2-10％改善し、モデルが「十分な文脈」を持つ例に基づいて答える場合の精度が著しく向上することが確認されました。
この研究は、より実際に近い状況でのAIの信頼性と正しさを担保する一助となるはずです。
出典 : Why enterprise RAG systems fail: Google study introduces ‘sufficient context’ solution https://venturebeat.com/ai/why-enterprise-rag-systems-fail-google-study-introduces-sufficient-context-solution/
