RAG（Retrieval-Augmented Generation）システムを評価する際に、まず重要なのは信頼できるデータセットを作成することです。これは一見大変そうに感じますが、似たデータセットをオンラインで探したり、人間のフィードバックを得たり、データを合成的に生成したりすることで、プロセスが大幅に簡素化されます。
手始めに、専門家の意見を反映させて小規模なデータセットを手作りしてみるのが良いでしょう。さらに詳細なデータセットが必要であれば、文章をトピックごとに分割し、多様で正確なデータセットを生成することも有効です。
また、手動で集めるデータでは不十分な場合や新たなデータポイントを速く増やしたい場合は、合成的なデータ生成が役立ちます。これには、既存のクエリとコンテキストを元に、多少の変更を加えて新たなバリエーションを作り出す方法が含まれます。
データセットが準備できたら、(RAG)モデルの評価に重要な2つのステップ、情報の取得と生成の効率を評価します。これには既に開発された便利なフレームワークを活用することもできます。たとえば、RAGASは合成データ生成を利用して、RAGモデルのパフォーマンスを評価するためのフレームワークです。
評価プロセスを簡素化するこれらのフレームワークを使用すれば、モデルの改善に集中できます。データセットがない状況でも、これらの戦略を駆使することでRAGシステムを有効に評価し、進化させることが可能です。
出典 : How to Evaluate RAG If You Don’t Have Ground Truth Data https://towardsdatascience.com/how-to-evaluate-rag-if-you-dont-have-ground-truth-data-590697061d89