Databricksが新たな言語モデル「DBRX」をリリースしました。
オープンライセンスで配布され、小規模企業には無料で提供されるこのモデルは、GPT-3.5やCodeLLaMA-70Bを超える性能を持っています。
「mixture-of-experts」アーキテクチャを採用し、1320億パラメータを搭載しているにもかかわらず、必要な時にのみ特定のパラメータを使う効率的な構造をしています。
その結果、汎用性能と特化能力の両方に優れ、言語理解やプログラミングなどで高いベンチマークを達成しています。
さらに、強力な推論能力を持ちながら、Hugging FaceやDatabricksのAPIを通じて手軽にアクセスできる利便性も兼ね備えています。
次世代のAI開発における新たな選択肢となりそうです。
出典 : https://gigazine.net/news/20240328-dbrx-open-llm-databricks/