大規模言語モデル(LLM)の知識を深めたいなら、RAG(検索強化生成)のことを少なくとも耳にしたことがあるはずです。
RAGはとてもシンプルな概念です。たとえば、LLMに質問したいとしたら、LLMの事前学習された知識に頼るだけではなく、外部の知識ベースから関連情報をまず取得します。
その後でその情報を質問と一緒にLLMに供給し、より答えが詳しく、最新の反応を生成させるのです。
では、どうして検索を強化した世代に頼るのでしょうか?
正確で最新の情報提供が重要な場合、LLMの内蔵知識に依存することはできません。
RAGは、比較的安価で手軽な方法でLLMに最近のトピックやニッチなトピックに関するコンテンツを生成させることができます。
更に、最新の研究によれば、RAGを使用すると、LLMが間違った情報を生成すること(ハルシネーション)を減らすことができると指摘されています。
さて、RAGの基礎に含まれるいくつかのコンポーネントを見てみましょう。
まずは、データベースを設定するための前処理や、データベースから情報を引き出してユーザーの質問に答える推論プロセスがあります。
RAGを構成する各コンポーネントは、単純なものだけではありません。
それぞれについて、さらに研究が進められ、単なるRAGからCHAD-ragへと進化を遂げています。
このトピックについては、17分間の動画も作成しており、YouTubeで確認できますので、ぜひこちらの記事を読んだ後にご覧ください。
出典 : The Ultimate Guide to RAGs — Each Component Dissected https://towardsdatascience.com/the-ultimate-guide-to-rags-each-component-dissected-3cd51c4c0212