従来の大規模言語モデル、例えばOpenAIのGPT-4やGoogleのPaLMに代表されるトリリオン規模のパラメータを持つモデルは、膨大なデータセットを用いたトレーニングが必要であり、非常にコストが高く、数千から数万のGPUなどを必要とします。
それに対してAIスタートアップのサンバノバ・システムズは、特定のタスクに特化した数十から数百の事前トレーニング済みモデルを並列につなげ、トリリオン規模のパラメータを持つ大モデルのように扱う新たなアプローチ「専門家の合成」を提案しています。
この方法では、各モデルに特定の作業を行わせることで、リソースの要求が少なくなり、トレーニングやAIの推論においてもコストを大幅に削減できるとしています。
また、サンバノバは54のモデルを集約したSamba-1というプロダクトをリリースし、企業がプロプライエタリなデータセットを用いたトレーニングが可能になっています。
これにより、まるでヒトの脳が特定のタスクごとに特化した脳領域を活用するように、必要なモデルのみを活性化させることで効率的な問題解決を図ることができます。
このような合理的かつ柔軟なアーキテクチャが、AI分野に新たな活路を開くかもしれません。
出典 : https://www.nextplatform.com/2024/02/28/sambanova-pits-llm-collective-against-monolithic-ai-models/