AI技術のリーダー企業たちは、これまでの巨大な言語モデルの開発からコースを変更しています。
彼らはモデルの初期訓練よりも、実行時により多くの処理能力を使うテスト時計算に焦点を当てるようになりました。
巨大な言語モデルのトレーニングには数千万ドルかかる上に、複雑なシステムはしばしば故障するという問題があります。
さらには、モデルが意図した通りに機能するかどうかを知るために数ヶ月を要することがあります。
OpenAIやGoogleなどの大手AIラボは、テスト時計算に注目する新しいアプローチを模索しており、
問題解決能力をより確かなものとすることを目指しています。
これらのモデルは、単に確率を計算するのではなく、問題を段階的に考えていくことができます。
結果として、複数の解決策を生み出し、評価し、最善のものを選ぶことが可能になるのです。
この変化がNvidiaのAIハードウェアに対する支配を揺るがす可能性もあります。
Nvidiaは大規模な言語モデルのトレーニング用のグラフィックスカードでは支配的ですが、
テスト時計算への動きが他のチップメーカーにとっての新たなチャンスを生み出しています。
専門のチップを開発しているGroqのような企業がありますが、Nvidiaの製品もこの領域で依然として強みを持っています。
出典 : OpenAI co-founder Sutskever predicts a new AI “age of discovery” as LLM scaling hits a wall https://the-decoder.com/openai-co-founder-predicts-a-new-ai-age-of-discovery-as-llm-scaling-hits-a-wall/