AI研究の最新動向を取り上げる本記事では、これまで注意を集めていなかったエンコーダーベースのトランスフォーマーモデルに焦点をあてています。画期的なエンコーダーモデル「ModerBERT」は、Answer.AIとLightOnにより開発され、従来のモデルを超える学習能力や広いコンテキストウィンドウを備え、高速な処理を実現しています。
文書の意味を表現する埋め込みベクトルを生成し、分類や文書検索などの非生成タスクに優れた能力を持つエンコーダーモデルは、トークンを生成することに特化したデコーダーモデルに比べ、さまざまな点で有利です。ModernBERTは特に、長い文書を扱う際にその性能を発揮し、コーディング支援やデータセットにおける性能も優れています。
また、小規模で手頃なGPU上でも動作し、大規模なモデルと比較しても優れた速度とメモリ効率で高精度なタスク実行が可能です。そのアーキテクチャには、長いシーケンスを効率的に扱うための革新的な技術が組み込まれており、将来のTransformersライブラリではさらに発展した形で利用される予定です。
出典 : Encoders make a strong comeback with ModernBERT – TechTalks https://bdtechtalks.com/2024/12/27/modernbert-llm-encoder/
