この研究論文は、ディープラーニングの進歩に貢献する国際会議ICLR 2024で発表されました。大規模言語モデル（LLM）は膨大なデータセットと先進的なアルゴリズムを使用して、文脈に敏感な内容を生成します。ただし、その開発には多大な計算資源が求められます。
この問題に対処するため、私たちはLoftQという革新的な技術を開発しました。これは、特化したアプリケーションのための事前訓練された言語モデルを微調整するプロセスを効率化するものです。LoftQの強みは、微調整の際に量子化と適応的初期化を組み合わせることにあります。
量子化によってモデルパラメータの精度は低下しますが、メモリと計算ニーズが減少し、処理の加速と電力消費の削減が可能になります。LoftQは、これらのパラメータを最適な状態に近づけつつ、リソースの使用を最小限に抑えることができます。
さらに、LoftQは様々なタスクと設定にわたるモデル移行時に、一度設定すれば繰り返し使用することが可能です。ハギングフェイスPEFTライブラリを通じて、このテクノロジーはオープンソースとして利用できます。
LoftQはAI分野を加速させ、最先端ツールの創出を容易にし、持続可能な開発を支援するという約束を提供します。この技術の広範な適用性に私たちは興奮しており、AIコミュニティがその利点を探求することを奨励します。
出典 : https://www.microsoft.com/en-us/research/blog/loftq-reimagining-llm-fine-tuning-with-smarter-initialization/