OpenAIのChatGPTなどの大型言語モデル（LLM）技術が世界に衝撃を与えて以来、様々な産業で応用されるようになりました。
しかし、これらのAIアプリケーションの性能は、実世界での精度や効率、拡張性、倫理的な観点から多次元的に評価される必要があります。
本記事では、技術的な性能とユーザー体験、ビジネスニーズをバランスさせながら、LLMベースのアプリケーションの性能を測定するための指標と方法について概説します。
性能評価の4つの基本的な次元には、精度、コスト、待ち時間があり、有害でないことを確かめるための責任あるAIの基準も重要です。
例えば、テキスト生成タスクでは、BLEUやROUGEスコアなど、シンプルなテキストの類似性だけでなく、意味の近さを測るSemScoreのような高度な指標も使用します。
また、待ち時間や処理量はアプリケーションの使いやすさを大きく左右し、特にリアルタイム応答を必要とするユーザー向けアプリケーションでは低待ち時間が望ましいです。
全体的な運用コストも無視できません。AIアプリケーションの評価基準は、単にコンピューターの性能だけでなく、倫理的基準を含め、人間の評価者による現実の使い勝手も取り入れることが求められます。
これにより、医療や金融など特定の分野の厳しい基準や、レクリエーションアプリケーションの創造性とユーザー関与に再調整することができます。
最終的には、ビジネス上の意思決定を支え、実際の利用シナリオで試験するための人間による評価によって、より良いバランスを見つけ出すことが重要になります。
出典 : Evaluating performance of LLM-based Applications https://towardsdatascience.com/evaluating-performance-of-llm-based-applications-be6073c02421
