一般的な大言語モデル（LLMs）や特定分野に特化したモデルの開発が進んでいますが、専門知識の不足や感情理解の欠如などの問題が指摘されています。特化型のLLMsは法律や医療などの分野で信頼性のある回答を提供することを目指しているが、高額なコストがネックになっています。
専門家の知識を模倣して教育する「微調整」や、関連情報を追加して生成する「取得強化生成」（RAG）などの手法が使われていますが、それぞれに限界があり、コスト効率の良い専門家LLMsの開発が主な課題となっています。
新しいアプローチとして、複数の専門性を持ったLLMsが協力する「専門家集団」モデルが考えられており、今後、これによって効率的かつ柔軟な知識更新が可能になるかもしれません。
このような新しい技術が開発され、実用化されることで、教育の現場だけでなく、ビジネスや日常生活にも大きな変化がもたらされることが期待されています。
出典 : https://www.infoworld.com/article/3715306/the-limitations-of-model-fine-tuning-and-rag.html