文章や数値などを順次予測し生成する際、最も自然な方法は「グリーディサーチ」と呼ばれるものです。これは、生成過程で最も可能性の高いトークンを選んでいくシンプルな手法ですが、常に最適な結果を生むわけではありません。
たとえば、予測段階での最善の選択が、最終的な文章全体では最善ではない場合もあります。「ビームサーチ」という手法では、このグリーディサーチの問題を部分的に解決します。ビームサーチは、同時に複数の候補シーケンスを考慮に入れ、その中から得点が高いものを選択していきます。
さらに、「温度」と呼ばれるパラメータを調整することで、候補の多様性を増やしたり、確信が強い予測値を強調することができます。しかし、これらの技術は理論が複雑で、最適な結果を導くためには、試行錯誤や経験が必要です。高校生でも理解できるようなこれらのサーチアルゴリズムは、文章生成の品質に大きな影響を与えることを知りましょう。
出典 : https://towardsdatascience.com/temperature-scaling-and-beam-search-text-generation-in-llms-for-the-ml-adjacent-21212cc5dddb