先日、OpenAIのChatGPTを動かしているアプリケーションがコード内の特定できないエラーで暴走し、何千ドルもの請求が来る悪夢にうなされました。
これにより、LLM（大型言語モデル）を使用するコストと使用制限の点を意識するようになり、ローカルでLLMを動かすというアイデアを見つけました。
この記事では、機械学習の一技術であるRAG（Retrieval Augmented Generation＝情報検索を活用した生成）という概念について解説していきます。
具体的には、CSVドキュメントをアップロードして、そのドキュメントに関する質問に回答するWebアプリを構築する方法を紹介します。
RAGとは、LLMが生成する回答に訓練データ以外の確かな知識ベースを参照させることで、回答を最適化するプロセスです。
まるで巨大な図書館から必要な情報を見つけ出すようなもので、RAGによって、更なる情報が加わりレスポンスの質が向上します。
新しい知識が追加される際の時間のロスを避けつつ、賢い友人のように即時有益な情報を提供してくれるわけです。
出典 : https://medium.com/data-science-nerd/build-a-chatbot-using-local-llm-6b8dbb0ca514