大規模な言語モデルなどに使われるトランスフォーマーは、文章のようなデータの順序を捉えることに課題がありました。
しかし、NTT人間情報研究所が、「ウェーブレット位置符号化」という新しい技術を開発し、その限界を克服しました。
この技術は、各トークンに位置情報を加えて処理することで、文脈をより正確に把握することができるのです。
これにより、言語モデルの精度が大きく向上する見込みで、2025年の重要な学会でも注目される話題となっています。
出典 : 《日経Robotics》NTTがLLMのコンテキスト長を拡張できる新技術、ウェーブレット関数で位置を表現 https://xtech.nikkei.com/atcl/nxt/mag/rob/18/012600001/00169/
