AI2が開発した新しいオープン言語モデル「OLMo」が公開されました。このモデルは、大規模な言語処理モデルの研究と実験のためのフレームワークを、Hugging FaceやGitHub上で利用できるようにします。
AI2のLLMフレームワークは、オープンリサーチを通じてAIを進化させるために必要なデータ、トレーニングコード、モデル、評価コードへのアクセスを意図的に提供しています。これにより、学術界や研究者たちは、言語モデルの科学を共同で研究するための力を得ることができます。
7B規模のモデル4種類と1B規模のモデル1種類が最初のバッチとしてリリースされており、すべて少なくとも2兆トークンでトレーニングされています。OLMoは、他の人気モデルと比較しても優れた性能を示しますが、あるタスクについては、より良い結果を得るための詳細な比較検証が行われています。
OLMoプロジェクトは、さらに進んで、より大きなモデルや指示調整されたモデルなどを含む多様なバリアントをリリースする計画を続けています。プロジェクトの完全な詳細については、技術報告書を参照してください。また、モデルはHuggingFace上からアクセスし、カスタムモデリングコードをインストールして利用することが可能です。
オープンイノベーションを推進するための多くの協力者たちに感謝するとともに、研究を進めるための追加の情報も今後提供される予定です。
出典 : https://medium.com/ai2-blog/olmo-open-language-model-87ccfc95f580