NTTが大規模言語モデル（LLM）の限界を打破する新技術を発表しました。
ウェーブレット変換を使った位置符号化によって、追加学習なしで長文を生成できるようになります。従来の方法では、最大系列長を超える文章の生成には性能が落ちる問題がありましたが、この技術を使えば、追加の学習コストを省きつつ、より長いテキストを自然に生成可能です。
特に、情報処理の方法として注目されるウェーブレット変換を応用することで、複数の解像度で位置を表現し、従来の課題を克服。今後、この技術は「tsuzumi」と呼ばれるシステムへの導入を目指し、さらなる向上が期待されます。
この技術革新は、学習コストの削減とともに、LLMの可能性を大きく広げることでしょう。
出典 : NTT、LLMの追加学習なしで決められた長さ以上のテキストを生成可能な技術を開発 https://news.mynavi.jp/techplus/article/20250425-3239845/
