NTTは、大規模言語モデル（LLM）の開発における大きな課題である「最大系列長」の問題に対し、革新的な技術を開発しました。従来のモデルでは、文の長さがあらかじめ定められた最大長を超えると、モデルの性能が著しく低下してしまっていました。これにより、長い文書の生成や理解が困難で、多くの計算資源とコストを要していました。
しかし、NTTの研究チームが注目した「位置符号化」という手法を用いて、これを克服することに成功しました。位置符号化とは、文中の単語の位置関係を数値化し、モデルに理解させるための技術です。新たに開発された「ウェーブレット位置符号化」は、長文の生成においても性能を維持することができるため、生成AIのコスト削減に大きく寄与することが期待されています。この進展により、私たちも利用料の低減などの恩恵を受けられるようになるかもしれません。
出典 : NTTが「LLMの学習コストを削減する」新技術を開発、tsuzumiへの導入目指す｜ https://businessnetwork.jp/article/27112/
