ディープマインドとカリフォルニア大学バークレー校の研究チームが、巨大言語モデル（LLM）の性能向上について新たな手法を提案しています。この研究では、モデルの再学習なしに、推論時の計算資源を最適化することで大幅な性能向上が期待できるとされています。
通常、LLMの性能向上はモデルの拡大と予備学習に多くの計算資源が必要ですが、大きなモデルは訓練にコストが掛かり、実用化が難しい面があります。一方、推論時にさらなる計算を投じることで、小さなモデルでも同等の性能を維持できるかもしれません。
特に、複数の出力から最適な解答を選択する「best-of-N サンプリング」や、モデルが自身のレスポンスを段階的に修正していく戦略など、多様な推論時の計算利用方法が考えられています。
研究チームは、提案された手法を数学問題のベンチマークテストに適用し、小さなモデルでも繰り返し計算を行うことで、大規模なモデルと同等かそれ以上の成果を上げることができることを示しています。
複雑な問題に対処するためには、多くの予備学習を必要とせず、推論時に計算力を集中することが効率的なアプローチとなり得るでしょう。研究チームは、将来的には、推論時の計算の最適化をより高度にすることで、予備学習にかかる計算量を削減し、より効率的なモデルの運用が実現するとしています。
出典 : DeepMind and UC Berkeley shows how to make the most of LLM inference-time compute https://venturebeat.com/ai/deepmind-and-uc-berkeley-shows-how-to-make-the-most-of-llm-inference-time-compute/