オープンAIのサム・アルトマンCEOによると、今までの言語モデルの訓練方法では限界があり、新たな方向性として「より大きな」事前トレーニングモデルと推論能力の組み合わせが重要だと指摘しています。
言語モデルは効率良くスケールアップが困難になっている中、オープンAIでは正誤がはっきりしたタスク用に特化した模型を強化学習で最適化しています。この「大推論モデル」と呼ばれる技術は過去一年で最も重要な進歩だとアルトマン氏は言及しているのです。
さらに、オープンAIはオープンソースへの回帰を検討しており、安全で堅牢なモデルの開発にも進歴がありますが、具体的なリリース時期は明らかにしていません。一方で中国のDeepseek社が自社の推論モデルR1をオープンソース化し、話題を集めています。この動きはオープンAIのより制限的なアプローチに疑問を投げかけ、モデルの濫用防止を理由とする同社の正当性を試すことになりそうです。
出典 : OpenAI CEO says merging LLM scaling and reasoning may bring “new scientific knowledge” https://the-decoder.com/openai-ceo-says-merging-llm-scaling-and-reasoning-may-bring-new-scientific-knowledge/
