Databricks社が新たなオープンソースの大規模言語モデル「DBRX」を発表しました。
1320億のパラメータを持つこのモデルは、LLaMA 2 70BやGrok-1といった既存のオープンソースモデルを凌駕し、特定のベンチマークでアントロピック社の非公開モデル「クロード」とも競合します。
DBRXは効率的な専門家の混合アーキテクチャで設計されており、従来のモデルよりも推論速度が約2倍速く、計算効率も2倍高いです。
このモデルは、12兆ものトークンから成る大規模なデータセットで事前学習され、技術者たちはAPI経由でDBRXを使用したり、Databricksのツールを利用して自社データでモデルを微調整したりできます。GitHubやHugging Faceで入手可能です。
Databricksは、DBRXがAIモデルの新たな基準となると期待しており、開発者はこれを基盤として独自の言語モデルを構築し、より開かれたAIのソリューションへと業界が進化する手助けになるとしています。
出典 : https://www.infoq.com/news/2024/03/databrix-dbrx-llm/