文章や数値を扱う際には、それらを管理するために変数が用いられます。この変数に情報を保管し、必要に応じてその内容を参照します。今回は、文書から要旨を抽出し、それを格納する手順について説明します。まず、文書の要約をシステムが取得し、
言語モデルを用いて、その要約がユーザーの質問にどれだけ関連しているかに基づいてランキングします。次に、最も関連性が高いと評価された要約に紐づく元の内容を取得するために、ページ番号を解析し、LanceDBというデータベースから関連するページ情報を取り出します。
最後に、取り出した情報を基に、言語モデルがユーザーの質問に対する詳細な答えを生成します。これはあるPDF文書を用いた一例ですが、LLAMA 3.2 1B Instructという小型の言語モデルを用いれば、大量の文書からキーワードを高効率で要約し、その情報をLanceDBのようなデータベースに格納し、
後から効率よく取り出すことが可能です。この工程は、文書生成時だけでなく、言語モデルを利用した研究アシスタントシステム（RAGシステム）でも非常に有効です。
出典 : Leveraging Smaller LLMs for Enhanced Retrieval-Augmented Generation (RAG) https://towardsdatascience.com/leveraging-smaller-llms-for-enhanced-retrieval-augmented-generation-rag-bc320e71223d