データブリックス社は、革新的なオープンソースの大規模言語モデル「DBRX」を発表しました。これは既存のオープンソースモデルや、OpenAIのGPT-3.5を凌駕する性能を持つとしています。DBRXは、同社が13億ドルで買収したMosaic AIによって開発され、Nvidia DGX Cloud上でトレーニングされました。
特徴的なのは、’mixture-of-experts’（専門家の混合）と呼ばれるアーキテクチャにより、1320億のパラメータのうち、一度にアクティブになるのは36億だけという効率性です。これにより、DBRXは高速に動作し、多くの既存のチャットボットよりも瞬時に応答することが可能になっています。
データブリックス社はこのモデルを、GitHubやHugging Faceで無料で公開し、顧客が自身のLLMの基盤として使えるようにすることを望んでおり、データ管理や実験追跡などをサポートする独自のツールを使ってモデルが構築されたことを強調しています。一方、エンタープライズの投資は、モデルの所有権やデータ管理の問題から遅延しているという課題も抱えています。
この背景の中で、データブリックス社は、LLM技術に対する企業の投資が増えることを期待しており、エンタープライズITとして注目される動きを見せています。
出典 : https://www.theregister.com/2024/03/28/databricks_dbrx_llm/