開発者の視点から見ると、コードは通常、メインの取り組み対象です。
しかし、機械学習を取り扱う人たちのワークフローでは、データが全く異なる役割を果たしています。データとコードは、開発者が目指す成果に直結しています。モデルにはトレーニングのためのデータが必要ですし、Retrieval-Augmented Generation（RAG）のような最先端のモデルで動作する際にも、追加の文脈としてのデータが必要です。
RAG実装に特化して話すと、異なるソースからのデータを集め、変換し、そのデータのベクトル表現を生成して、特定のデータレポジトリに保存するという過程が必要とされます。このレポジトリは特殊なデータタイプに対応し、RAGが正確なデータへの問い合わせが可能なように、必要なクエリ機能をサポートしていなければなりません。
これにより、モデルが生成しようとするレスポンスに関連する適切なデータを見つけ出すことができます。従来の流れを例にとると、データを集めてベクトルに変換し、複数のデータソースから得たベクトルを保管するアーキテクチャがあります。
出典 : How to improve LLM RAG responses using search data | AWS Marketplace https://aws.amazon.com/marketplace/build-learn/data-analytics/smarter-llm?trk=c38b0fb6-5e6a-42d6-9b3a-02a9db69eafe&sc_channel=el
