Hugging Faceが、大規模言語モデルのベンチマーキングプラットフォーム「Open LLM Leaderboard」の新バージョン、v2をリリースしました。
このプラットフォームは、参照モデルの標準化された評価を行い、再現性のある比較可能な結果を目指しています。
AI コミュニティにとっては複数の目的を果たしており、研究者や実務家がオープンソースのリリースを識別する手助けをし、進歩の実質的な分離を告げる再現可能なスコアを提供し、チームが自分たちの研究を公に比較する場を提供しています。
さらに、LLM開発の進歩に対する公衆の認識を得るためのプラットフォームでもあります。
このLeaderboardは、設立以来、機械学習コミュニティで広く利用され、過去10か月間で200万人以上のユニークユーザーが訪れ、約30万人のコミュニティメンバーが積極的にコラボレーションしているとHugging Faceは述べています。
v2は、オリジナルのバージョンの限界に対処しており、オープンソースのLLM分野での急速な進歩に対応しています。
出典 : Hugging Face Upgrades Open LLM Leaderboard v2 for Enhanced AI Model Comparison https://www.infoq.com/news/2024/10/open-llm-leaderboard-v2-launch/