ヨーロッパで開発された大規模言語モデルEuroLLM-9Bが注目を集めています。このモデルは、公式EU言語全体と、商業的に重要な11の非公式言語を含めたヨーロッパ言語に特化して設計されています。
特に、EuroLLM-9Bのトークナイザーは、ヨーロッパ言語の語彙128,000語片を用いており、これがヨーロッパ言語における顕著な性能の理由とされています。バルセロナにあるMareNostrum5スーパーコンピューターのGPUインフラを使用して、約4兆トークンにわたって事前学習されています。
さらに、多言語にまたがるテキストの翻訳では、複数のモデルを凌ぐ性能を発揮すると評価されており、公開されたデータセットでの微調整により、マルチターンの会話を扱ったり、指示に従う動作が可能です。
これらの特徴は、Hugging Faceで利用可能であり、将来的にはさらに大きなモデルへの展開が計画されているようです。
出典 : EuroLLM-9B Aims to Improve State of the Art LLM Support for European Languages https://www.infoq.com/news/2024/12/eurollm-9b/
