Metaが7月23日に発表した「Llama 3.1」は、AIの大規模言語モデルの新星です。オープンソースのフロンティアモデルとして注目されており、そのニューラルネットワークには圧巻の4050億ものパラメーターがあります。
しかし、単に大きいだけではありません。このモデルは、AIの訓練という面で革新的なアプローチを採用しています。Metaの研究者たちは、モデルを段階的に訓練することで高い予測精度を実現しました。また、標準的なトランスフォーマーモデルアーキテクチャーを採用することで訓練の安定性も向上しています。
これらの新しい手法はMetaが追求するデータと計算の組合せから最適なスイートスポットを見つけ出す試みの一環であり、AIの可能性を広げるものとして期待されています。
出典 : Meta「Llama 3.1」のイノベーション–4050億パラメーターを誇る最新LLM https://japan.zdnet.com/article/35222107/