Metaの新たな言語モデル「Llama 3.1 405B」が公開されました。これは、OpenAIやAnthropicのトップモデルに匹敵する能力を持つとの主張です。
この最新モデルは15兆トークン以上のデータでトレーニングされ、16,000個のNvidia H100 GPUを使用しています。トレーニングには約3084万GPU時間がかかり、CO2排出量は約11,390トンに相当するとされています。
Llama 3.1 405Bモデルは、従来の複雑なアーキテクチャを採用せず、安定したトレーニングを実現するために、シンプルな構造を維持しています。
しかし、4050億パラメータの巨大なメモリが必要で、高性能なシステムが不可欠です。そのため、Metaは半分のメモリサイズで動作する8ビット量子化バージョンもリリースしています。
加えて、Llama 3ファミリーのアップデートが実施され、8つの言語に対応し、タスクの処理能力が向上しています。
開発者にはより広範なシステムでの柔軟性を提供し、コミュニティからのフィードバックを求めています。これからのAI開発はオープンな形で進むことが期待されており、全てのモデルはMetaのウェブサイトからダウンロード可能です。
出典 : Meta says all new Llama 3.1 405B model bests OpenAI’s GPT-4 https://www.theregister.com/2024/07/23/meta_llama31_405b/