最近の論文では、人工知能(AI)が既存の大規模言語モデル(LLM)から再帰的に生成されたデータを学習すると性能が低下する可能性が示唆されています。
これは「蛇が自分の尾を食べる」という状況で、LLMがインターネットから得たデータで飛躍的な進歩を遂げていますが、これが循環していることが問題です。
提案された解決策の一つは、モデルを訓練する際に合成データを使うことです。
特に、AIを強化した高性能計算(HPC)モデルでは、伝統的な物理モデルの代わりにAIを用いた推論によって迅速に結果を導き出すことが可能となっています。
例えば、マイクロソフトの天気予測プロジェクト「Aurora」では、従来の数値予報システムと比較して計算速度が5000倍に向上しました。
今後、AI強化HPCモデルの能力は物理世界のシミュレーションに新たな可能性をもたらしますが、モデル訓練には膨大なリソースが必要とされます。
つまり、未来の科学と技術の洞察はAIの影響で大きく変わりつつあるのです。
出典 : The Path to Insight is Changing: The AI-HPC Paradigm Shift https://www.hpcwire.com/2024/08/08/the-path-to-insight-is-changing-the-ai-hpc-paradigm-shift/