クイーベックAI研究所（Mila）とServiceNow Researchの研究者たちが、LLM2Vecという新しいアプローチを導入しました。これは、文章の埋め込み（エンコード）タスクにおいて、デコーダのみの大型言語モデル（LLM）を効率的にテキストエンコーダに変換できる手法です。
LLM2Vecは、文章の意味内容を数値ベクトルとしてエンコードする機能を持たせるため、教師なし学習で簡単なパラメータの微調整を可能にし、なおかつ低コストで利用できます。
また、全体の訓練プロセスは高速で、例えば7億パラメータモデルのチューニングには4時間以内、約10ドル未満のコストで完了しました。
このLLM2Vecを用いることで、文章検索のようなタスクが、LLMの持つ指示に従う能力を生かして大いに強化されると期待されています。
研究チームはLLM2Vecのコードをオープンソース化し、実験で使用したモデルも公開しました。これは、言語リソースが少ない環境におけるテキスト埋め込みタスクの発展に貢献する第一歩です。
出典 : https://bdtechtalks.com/2024/04/22/llm2vec/