RWKVプロジェクトが、革新的な言語モデルEagle 7Bをオープンソース化しました。このモデルは、膨大な1.1兆トークンと100以上の言語のテキストデータで訓練され、類似サイズの他のモデルに比べて多言語ベンチマークでの性能が優れています。
Eagle 7BはReceptance Weighted Key Value（RWKV）アーキテクチャに基づいており、これは従来のTransformerモデルの弱点を克服し、入力の最大コンテキスト長に制限がありません。さらに、トークン当たりのエネルギー効率が最も高いモデルと評されています。
Linux Foundationがサポートし、Apache 2.0ライセンスのもとで提供されているため、個人でも商用目的でも使用できます。注意点としては、非常に長いコンテキストを必要とする作業や、プロンプト情報が推論中に失われる可能性があるため、工夫が必要です。
GitHubでコードが公開され、Huggingfaceプラットフォームでモデルの重みが入手可能です。この先進的なモデルは、多言語にわたるAIアプリケーションの可能性を広げることでしょう。
出典 : https://www.infoq.com/news/2024/03/rwkv-llm-eagle-7b/