AI開発の新たな地平線が開かれました。フランスのスタートアップ「Mistral AI」が開発した「Mixtral-8x7B」は、過去の常識を覆します。このモデルは古い概念「Mixture of Experts」を活用し、
470億のパラメータを持ちながら、130億のモデルと同等の速度で運用できるのです。ルーターが適切なエキスパートモデルを即座に選出し、
各言語に対応し評価も高く、システム統合の可能性を秘めています。今、企業はこの技術によって自身のAI戦略を見直す時が来ています。 MoEの可能性とこれからの展開に、我々は目を向ける必要があります。
出典 : そこそこサイズのLLMですが、13Bモデルくらい速く安くできます──というマジックの“タネ” https://www.itmedia.co.jp/enterprise/articles/2412/25/news086.html
