オープンソースのAI分野において、メタのLlamaやGPT-4と競合する存在として注目される、マイクロソフトの「Phi-3.5」シリーズの存在感が増しています。このシリーズは、特に「Phi-3.5-MoE-instruct」というモデルが話題を呼んでおり、そのモデルは419億パラメータを持ち、Mixture of Expertsアーキテクチャを採用しています。この仕組みは、必要な「専門家」モデルを適宜組み合わせることで、効率良く高いパフォーマンスを実現します。
トレーニングには高品質なデータが使用されており、データの質にもこだわっています。3つのモデルはすべてMITライセンスで提供されているため、開発者たちは自由にこれらのモデルを使用し、自社サービスに組み込むことが可能です。今やオープンソースモデルは、クローズドソースにほとんど遜色ない地点にまで達しており、その進化は目を見張るものがあります。
出典 : Phi-3.5とは何かを解説、マイクロソフトの「GPT-4o miniとほぼ互角」AIの真価 https://www.sbbit.jp/article/cont1/151175