生成AIが注目される中、ラックでは社内で利用するAIの技術検証に注力しています。特に、Retrieval Augmented Generation（RAG）というAIアーキテクチャの評価に焦点を当て、「答えの正確さ」や「関連性」などを測るための指標を設定し、AzureのCognitive Searchを活用しています。
社内規程集を例に、RAGを使った回答の品質を定量的に評価する方法を学んだほか、試行錯誤を重ねながら最も精度の高いRAGの設定を見つけ出しました。
「LAC AI Day 2023」ではこの取り組みを詳しく紹介し、その動画も公開されています。
この分野は日々進化しているため、常に最新の知識を取り入れることが大切です。
私たちの実験が、読者のみなさんのRAGへの理解と興味を深める一助になれば幸いです。
出典 : 社内規程集について回答してくれる生成AIを評価してみた〜生成AIのアーキテクチャ「RAG」の評価プロセス | LAC WATCH https://www.lac.co.jp/lacwatch/people/20240118_003651.html
