マイクロソフトと北航大学の研究チームは、巨大言語モデル(LLM)を従来よりも低コストで微調整できる新技術「MoRA」を開発しました。
MoRAは、低階数適応（LoRA）のような一般的な手法の制約を克服することで、新知識を要求するタスクへのモデルの微調整に特に有効です。
これにより、企業が小規模なモデルを使用して、これまで高価なモデルが必要だった作業を行うことが可能になる可能性があります。
MoRAは正方形の行列を使用することで、LoRAよりも新しい知識の学習能力が強いとされています。
記憶タスクにおいては、LoRAより優れた性能を発揮し、全パラメータの微調整モデルと遜色ない成果を示しました。
生物医学や金融分野の連続的な事前学習では、LoRAを上回る性能を見せており、その高階数更新アプローチにより新知識を記憶する能力が強みです。
すでに研究チームはオープンソースとしてのMoRA実装を公開しており、LoRAアダプタとの互換性もあります。
企業アプリケーションが基本モデルに新しい知識を加えたい場合に重要なツールになる可能性が高いです。
出典 : https://venturebeat.com/ai/microsoft-beihang-release-mora-an-efficient-llm-fine-tuning-technique/