大規模言語モデル（LLM）が、インターネットから集めた大量のテキストデータを使って訓練されています。このテキストデータは現在、人間の手で書かれたものですが、近い将来、そうではなくなるかもしれません。
LLMはデータを飢えたように消費し、より大きなデータセットを必要とします。パフォーマンス向上のためには、パラメータ数と訓練トークン数の両方を増やす必要があるとされています。しかし、人間によるデータは有限であり、私たちのデータ消費速度には追いつけません。
ジェネラティブAIは進化の一途を辿る中で、AI崩壊というリスクに直面しているのかもしれない、という研究もあるそうです。AIの未来に一体何が起こるのか、世界は注目しています。
出典 : Can Generative AI Lead to AI Collapse? https://towardsdatascience.com/can-generative-ai-lead-to-ai-collapse-481966259d23