台湾の国立政治大学の新しい研究では、RAG（情報をカスタマイズするための従来の手法）に代わる新技術が発表されました。この技術は、CAG（キャッシュ拡張生成）と呼ばれ、大容量のテキスト情報をモデルの文脈窓にすべて格納することで、高速で効率的なカスタマイズを可能にします。
CAGは、企業が持つ情報をモデルに直接フィードし、先進的なキャッシング技術を用いることで、クエリの処理を大幅に高速化することができます。OpenAIやGoogleなどの大手提供者が、プロンプトのキャッシュ機能を提供し、コストとレイテンシーを削減します。
ただし、CAGは万能ではありません。知識ベースが頻繁に変更されない、かつ、モデルの文脈窓に収まる規模の場合に適しています。矛盾する情報を含む文書がある場合は特に注意が必要です。RAGと比較して、CAGの性能を試す実験を実施してみることから始めるのが賢明です。
出典 : Beyond RAG: How cache-augmented generation reduces latency, complexity for smaller workloads https://venturebeat.com/ai/beyond-rag-how-cache-augmented-generation-reduces-latency-complexity-for-smaller-workloads/
