一部のAI業界の専門家たちは長年、AIモデルの急速な能力向上に注目してきましたが、最近になって「スケーリングの法則」に対する楽観視が変わり始めています。
OpenAIの内部情報によると、次世代モデルのOrion（開発コードネーム）は、過去のGPT-3からGPT-4への進化に比べて、性能の向上が小さくなっていると言われています。
特定のタスクでは、新モデルは前任者よりも大きな改善を示さないとも指摘されています。
またOpenAIの共同創業者イリヤ・スツケヴァーは、従来のプリトレーニングからの得られるものが頭打ちになりつつあると懸念を述べています。
彼は「2010年代はスケーリングの時代だった」と指摘し、今は「再び発見の時代に戻っている」と。
新しい、質の高いテキストデータが不足し、モデルは公に利用可能なテキストや出版された書籍から既に最善のデータを選び取っていると専門家は言います。
AIの次なるステップに向け、誰もが新たな進路を模索しています。
出典 : What if AI doesn’t just keep getting better forever? https://arstechnica.com/ai/2024/11/what-if-ai-doesnt-just-keep-getting-better-forever/