最新の研究結果が示すところ、大規模言語モデルの性能向上を目指した過剰なトレーニングが、実は逆効果になることがあるという課題を浮き彫りにしています。
カーネギーメロン大学やスタンフォード大学など、著名な研究機関が行った共同研究では、AIモデル「OLMo-1B」を極端に多くのトークンでトレーニングした結果、その後のファインチューニングで性能が2〜3%低下するという現象を確認しました。
この問題は「catastrophic overtraining」と呼ばれ、特定のタスクにモデルを最適化するファインチューニングの難易度が高まる原因になっています。
この発見は、大規模なAIモデルを開発する過程で重要な考慮点を提供し、過剰なトレーニングを防ぐ新しい技術やアプローチの開発に向けた指針を与えるものです。
高校生でも興味を持つかもしれませんね！
出典 : トークン数が増加するとLLMのファインチューニングが難しくなる理由 – イノベトピア https://innovatopia.jp/ai/ai-news/51555/
