Metaは、オープンソースの最新版Llama LLMをリリースし、大規模GPUファームを用いて訓練されたことを明らかにしました。2024年の投資額を最大で100億ドル増加させ、AI分野への取り組みを加速化すると発表。15兆トークン以上から成るデータセットを、16,000台のH100 GPUで処理し、この規模で訓練された初のモデルとなりました。
このモデルは、パフォーマンスでOpenAIのGPT-4などの閉ざされたLLMに匹敵するように設計されていますが、完全には追いついていません。150のベンチマークデータセットと広範な人間による評価でテストされ、主要なモデルと競合します。
また、ザッカーバーグCEOは、Llamaをオープンソースの重要な転換点と位置付け、開発者が閉じたモデルから離れてオープンなイノベーションを進めることを促しています。25を超えるパートナーが出資し、開発者はすぐに高度な機能を活用して構築を開始できるとしています。
新しいLLMは様々なタスクに対応でき、開発者がより自由にデータセットを作成し、特化したAIモデルを迅速に開発することが期待されており、今後さらなるAI投資が予測されています。
出典 : Meta Llama 3.1 405B LLM trained on mammoth GPU farm https://www.thestack.technology/meta-llama-3-405b-llm-open-source/