メディア生成分野における「クラシファイヤーなしガイダンス」は、画像、ビデオ、音楽などの生成に役立つ手法で広く用いられています。しかし、テキスト生成にこの手法を適用する際、品質の劣化や予期しないアーティファクトが生じることがあります。
特に、大規模言語モデルにおける文生成にこのテクニックを採用すると、予想外の結果が発生しやすいとされています。これは、条件なしの予測値と比較して非常に低い確率のトークンが、予期せず高いスコアを受けてしまうためです。
本稿では、この問題を解決するための新しいフォーミュラが提案されており、それによりテキストの品質が向上するとともに、個人情報の生成を防ぐことにも役立つことが示されています。
改良されたガイダンス手法により、大規模言語モデルがより安全かつ効果的に活用できるようになることでしょう。
出典 : Classifier-free guidance for LLMs performance enhancing https://towardsdatascience.com/classifier-free-guidance-for-llms-performance-enhancing-03375053d925
