上海のINF Technology社とM-A-Pコミュニティが、トレーニングデータからモデルの細部に至る情報まで完全にオープンにした新しい大規模言語モデル「OpenCoder」を公開しました。
このOpenCoderでは、15億パラメーターと80億パラメーターの２つのモデルがリリースされ、特に80億パラメーターモデルは非常に高い性能をマークしています。
モデルはコードデータとウェブデータを組み合わせた大量のトークンでトレーニングされ、その後のファインチューニングには高品質な例が使用されました。
いくつかの比較ではトップクラスのモデルに及ばない部分もありますが、開発過程が全て公開されている点が評価されています。
誰でもアクセス可能なOpenCoderは、研究者や開発者にとって貴重なリソースになること間違いありません。
出典 : 完全にオープンで再現可能な大規模言語モデル「OpenCoder」がリリースされる https://gigazine.net/news/20241111-opencoder-llm/