スイス連邦工科大学ラウザンヌ（École Polytechnique Fédérale de Lausanne、EPFL）の研究者たちは、大規模な言語モデル（Large Language Models、LLMs）の
適応方法として「コンテキスト内学習（In-Context Learning、ICL）」と「インストラクション微調整（Instruction Fine-Tuning、IFT）」の二つを徹底比較しました。この分析は、モデルがどれだけ上手に指示に従えるかを測る業界標準のベンチマーク、MT-Benchを使用し、少ない訓練例が与えられた場合、ICLとIFTが似たような結果を示したことが驚きでした。
しかし、より複雑なタスクではIFTがICLを大きく凌駕し、特に複数回の会話を要するタスクではIFTの優位性が顕著でした。
研究は、わずか3例のデータで基本言語モデルを学習させる「URIAL」手法についても調べており、高品質なデータの選択や適切なデコーディングパラメータの設定が、モデルの性能に大きく寄与することを確認しました。
これらの結果から、ICLは特に訓練例が少ない場合に言語モデルを迅速に調整する有効な手法として機能しますが、複雑なタスクへの一般化や大きなデータセットを用いた学習ではIFTの方が優れていることが示されました。
研究結果は「Is In-Context Learning Sufficient for Instruction Following in LLMs?」としてNeurIPS 2024で発表され、研究用のコードはGithubで入手可能です。高校生にもわかる言葉で言えば、AIを賢くするには良い例を使って速く学ばせることが基本であり、それをさらに最適化し安定させるには微調整が重要ということです。
出典 : In-context learning proves competitive with LLM fine-tuning when data is scarce https://the-decoder.com/in-context-learning-proves-competitive-with-llm-fine-tuning-when-data-is-scarce/