Google DeepMindの研究者たちが、大規模言語モデル（LLM）の誤りを検出し、より正確な回答を選択するための新しい方法「GenRM」を開発しました。これまでの検証手法や報酬モデルでは不十分だった部分を補うことが可能です。
GenRMは、文章生成の能力を活かし、次のトークン予測を通じてトレーニングされることにより、精度を向上させます。特に、思考過程を辿るチェーンオブソート（CoT）という手法で、理由づけを行なってから正しさを評価する点が特徴です。
このアプローチでは、複数のCoTを生成し、その平均から正しさを導き出す方法を使用しており、複数の回答から最も一般的なものを選ぶ「自己一貫性」という手法に対しても優れた結果を見せています。
研究者たちによると、GenRMは、高品質なデータの収集には人間や他のLLMによる合成データを利用することが補助となりえます。さらに、未来ではオープンエンドの生成タスクや、強化学習、数少ない学習例での能力向上などの応用が考えられています。
出典 : DeepMind’s GenRM improves LLM accuracy by having models verify their own outputs https://venturebeat.com/ai/deepminds-genrm-improves-llm-accuracy-by-having-models-verify-their-own-outputs/