従来の大規模言語モデル（LLM）は長いテキストを効率的に扱えないという問題がありました。しかし、新たな位置符号化技術「ウェーブレット位置符号化」がその課題を打破します。この技術は、ウェーブレット関数を使用し、単語の相対的な位置を精密に計算することで、これまで以上に長い文章の生成や理解を可能にしました。
特にウェーブレット変換の特徴を利用することで、さまざまな分解能での位置表現が可能となり、文の長さに依存しない高い性能を実現しています。この技術が広く使われるようになると、LLMによるテキスト処理能力が格段に向上し、新たな文脈での利用が期待されます。
たとえば、マニュアルや重要文書の読解性能が向上し、業務の効率化や、専門性の高い難解な文書の解読支援が可能になるでしょう。この革新は、多くの分野での作業を変え、我々の将来に大きな影響を与える可能性があります。
出典 : LLMの追加学習なしで決められた長さ以上のテキストを生成可能な技術を開発～独自の位置符号化機構によりLLMの学習コストの削減に貢献～ | ニュースリリース | NTT https://group.ntt/jp/newsrelease/2025/04/24/250424a.html
