中国の研究者たちが、大規模言語モデルの論理推論能力を高める新技術を発明しました。不要な情報を除去することで、テキストベースのタスクの効率を大幅に改善させることに成功しています。
ギリン電子科技大学などのチームは、500の小学校レベルの数学問題に意図的に無関係な文章を混入させたGSMIRデータセットを開発しました。このデータで、GPT-3.5などのモデルが無関係な情報を最大で約75%識別できることが明らかになりましたが、自動でこれを除去することはできませんでした。
そこで研究チームは「解析からフィルタリングへのプロンプト」（ATF）手法を考案。この二段階の方式では、まずモデルが各文を分析し、不要な情報を識別した後に、実際の推論プロセスを始める前にその情報を排除します。
この方法を用いると、余計な情報があるタスクにおけるモデルの正解率が、通常のタスクでの正解率に近づいたそうです。特に「思考の連鎖プロンプト」を組み合わせた場合、正確性が顕著に向上したとのこと。
ただし、この研究ではまだGPT-3.5のモデルのみを対象にしており、実際の複雑な問題ではさらなる検証が必要とされています。それでも、AIの論理推論能力を高める大きな一歩と言えるでしょう。
出典 : New prompting method can help improve LLM reasoning skills https://the-decoder.com/new-prompting-method-can-help-improve-llm-reasoning-skills/
