トランスフォーマーは、トークンの埋め込みと位置エンコーディングの2つの情報が必要です。位置エンコーディングには、従来「RoPE」と呼ばれる手法が利用されていますが、より大きなコンテキストで効率良く働くための新しいアプローチとして「Long RoPE」が登場しました。
Long RoPEは、伝統的なRoPEの限界を超え、最適な数値λを見つけ出すことで、コンテキストの拡大を可能にしており、それにより深い解析や長い文章の理解が見込めるようになります。
さらに進んだ研究では、異なるλをシームレスに切り替え、さまざまな長さのテキストに対応できるモデルの開発も行われています。
これにより、インターネットで氾濫している情報から重要なものを抽出し、有効活用する道が開かれるかもしれません。
高校生でも理解できるように言い換えると、AIは文章の「場所」も理解しつつ、より多くの情報を処理して、私たちにとって重要な知識を見つけ出す手助けをしてくれる技術が、ますます進化しているということです。
出典 : https://towardsdatascience.com/understanding-long-rope-in-llms-29337dc7e4a9