大規模モデルの一時代を経て、今、コンパクトながら高性能な小型言語モデルが注目されています。
数百億パラメーターを持つ巨大モデルは、高コストである一方、パラメータ数がそれより少ない小型モデルが低コストで高性能を発揮し始めました。
たとえば、マイクロソフトの「Phi-3-mini」は、わずか38億パラメータながら、幅広い知識を要求されるテストでGPT-3.5に近い成績を収めています。
メタが開発した小型モデル「MobileLLM」は、スマートフォンでも動作し、少ないメモリで高性能を実現。
また、グーグルの「Gemma 2」は、小型ながら大モデルと競うパフォーマンスを見せています。
トレーニングやアーキテクチャの最適化により、大型モデルに匹敵する実力を持つ小型モデルがこれからのAIトレンドとなりそうです。
出典 : グーグル「Gemma」は何がすごい？試してわかる小型言語モデルで「GPT-3.5超え」の実力 https://www.sbbit.jp/article/cont1/149481
