昨年から、大規模言語モデルを取り入れたアプリケーションの開発に取り組み、LLM/AI企業の専門家と多く議論してきました。業界共通の課題は、モデルとアプリケーションレベルで使える評価方法がないことです。特に、存在する多様な評価基準の中で適切なものを選び、機械のフィードバック、人間のフィードバック、あるいはその両方をいつ使うかに迷いがあります。
評価（Evals）とは、LLMとそのアプリケーションの性能を系統的に評価することです。伝統的なNLPの指標は限界が見えており、より洗練された測定法へと進化しています。LLMの最新手法では、人間によるフィードバックや、人間と機械の組み合わせた評価が重視されています。しかし、これらLLMを使った評価にも限界があります。
正確な評価の実施のために、理想的なフレームワークが必要とされ、Langchainのようなライブラリが有効です。LLMアプリケーションに対するアプローチは、その機能性やユーザーの要求に合わせて異なります。人間の評価者を効果的に選ぶ方法や、機械と人間のフィードバックをどのように統合するかも重要です。
出典 : https://medium.com/@carolzhu/all-about-llm-evals-8a155a1235c7