Google DeepMindとスタンフォード大学の研究者は、大規模言語モデル（LLM）を特定のタスクにカスタマイズするための「細調整」と「文脈学習（ICL）」という二つの手法の一般化能力を比較しました。
「文脈学習」は高い計算コストがかかるものの、新しいタスクに対する問題解決能力が優れていることがわかりました。一方で「細調整」は、モデルに新しい知識やスキルを教えるプロセスです。
その後、研究者たちは新しい方法「文脈学習を取り入れた細調整」というアプローチを提案し、更なる一般化とコスト削減を可能にしました。
この結果は、LLMの更なる可能性を示すものであり、開発者が特定の企業データに合わせたアプリケーションを作る際の重要な判断材料になることでしょう。
出典 : Fine-tuning vs. in-context learning: New research guides better LLM customization for real-world tasks https://venturebeat.com/ai/fine-tuning-vs-in-context-learning-new-research-guides-better-llm-customization-for-real-world-tasks/
