LLM（Large Language Model、大規模言語モデル）をゼロから作成し訓練することは、非常に高価で時間を要し、不確実性が高いとされています。
そこで、既に訓練されたLLMを使用する方法が推奨されています。例えば、Hugging Faceポータルでは、多くのモデルが提供され、特定のタスクに特化して細かくチューニングを行うことが可能です。
また、「ペイ・トゥ・ユーズ（使用するために支払う）」という、巨大なLLMのサービスを利用する選択肢もあります。この方法では、モデルのトレーニングや維持に関する心配が不要になりますが、使用量によっては費用がかさんでしまうこともあります。
一方で、RAG（Retrieval Augmented Generation、検索拡張生成）というアプローチを使うことで、巨大なモデルに劣らないパフォーマンスを持つ小規模なモデルを作成することが可能です。
RAGは特定の情報をベクトルとして保存し、LLMの出力を改善する技術です。これは、ニッチな分野での質問に対する専門的な回答を効率良く提供するために利用されています。
出典 : What I learned in my first 60 days working with LLM? https://medium.com/@filipespacheco/what-i-learned-in-my-first-60-days-working-with-llm-6bc7f825dcc1