Yandexが新たなYandexGPTファミリーのアップデートを準備しています。これは、ロシア語で大きな言語モデルを評価するためのオープンなクラウドソーシングプラットフォーム「LLM Arena」によって報告されています。
Yandexは、よりパワフルな基本言語モデルの新バージョンの開発を進めていると確認しています。
この新しいモデル「YandexGPT Experimental」は、世界的な言語モデルGPT-4o、GPT-4 Turbo、Claude 3.5 Sonnetと同等の評価をLLM Arenaレーティングで受けています。LLM Arenaは、ユーザーが無料で多様な大規模言語モデルを利用でき、そのフィードバックに基づく評価でモデルをランク付けしています。
LLM Arenaのプラットフォームは、ロシアの独立開発者によって立ち上げられ、外国のLMSYS Chatbot Arenaという信頼できる基準からその仕組みを取り入れています。
特に、このサービスはロシア語への注力を特徴とし、ロシア製のLLMモデルも含んでいます。将来的には、マルチモーダルアリーナを追加し、ロシア市場での目標とするベンチマークにしようとしています。
既存のベンチマークと違い、LLM Arenaは実際のユーザーの生の評価を基にしており、より客観性を持たせています。
出典 : YandexGPT Experimental entered the top of the LLM Arena rating https://www.oreanda-news.com/en/nauka_i_tehnika/yandexgpt-experimental-entered-the-top-of-the-llm-arena-rating/article1523542/