次世代AIモデル「Eagle 7B」の魅力とは?

2024.03.14

WorkWonders

RWKVプロジェクトが、革新的な言語モデルEagle 7Bをオープンソース化しました。このモデルは、膨大な1.1兆トークンと100以上の言語のテキストデータで訓練され、類似サイズの他のモデルに比べて多言語ベンチマークでの性能が優れています。

Eagle 7BはReceptance Weighted Key Value(RWKV)アーキテクチャに基づいており、これは従来のTransformerモデルの弱点を克服し、入力の最大コンテキスト長に制限がありません。さらに、トークン当たりのエネルギー効率が最も高いモデルと評されています。

Linux Foundationがサポートし、Apache 2.0ライセンスのもとで提供されているため、個人でも商用目的でも使用できます。注意点としては、非常に長いコンテキストを必要とする作業や、プロンプト情報が推論中に失われる可能性があるため、工夫が必要です。

GitHubでコードが公開され、Huggingfaceプラットフォームでモデルの重みが入手可能です。この先進的なモデルは、多言語にわたるAIアプリケーションの可能性を広げることでしょう。

出典 : https://www.infoq.com/news/2024/03/rwkv-llm-eagle-7b/

【このニュース記事は生成AIを利用し、世界のAI関連ニュースをキュレーションしています】

ワークワンダースからのお知らせ

生成AIの最新動向をメルマガ【AI Insights】から配信しております。ぜひご登録ください