LMEvalはAI研究者や開発者が、様々な大規模言語モデルの性能を比較するために開発されたツールで、正確で多機能、かつ使いやすさを重視しています。
Googleの研究者たちは、次々と登場する新しいモデルを迅速かつ信頼性高く評価することの重要性を指摘しており、LMEvalはそのために広範囲のLLMプロバイダーに対応し、効率性を向上させるインクリメンタルベンチマーク実行や、テキストや画像、コードを含む多様な評価、結果の暗号化保存などの特徴を持っています。
さらに、LMEvalはLiteLLMフレームワークを使用して、OpenAIのAPI形式を様々なLLMプロバイダー間で共通利用できるようにしており、評価の効率性も向上させています。
結果の保存や、さらなる分析と視覚化のためにpandasへのエクスポートも可能です。
このツールにはLMEvalboardと呼ばれる視覚的なダッシュボードも含まれており、モデルの性能を簡単に確認できます。
LMEvalと同様の目的を持つ評価フレームワークとしてはHarbor BenchやEleutherAIのLM Evaluation Harnessも存在しますが、LMEvalはその使い勝手と機能の幅広さで注目を集めています。
出典 : Google Releases LMEval, an Open-Source Cross-Provider LLM Evaluation Tool https://www.infoq.com/news/2025/05/google-lmeval-benchmark/
