エポックAIが開発したシミュレーターによると、2012年のGPUでもGPT-4規模のAIモデルを訓練可能です。しかし、コストは最新のハードウェアの約10倍になると述べています。
当時のGTX 580は3GBのメモリしかなく、現代のAIモデルの計算能力には劣りますが、この研究は過去の技術が現代の問題にどう応用できるかを示唆しています。
さらに、エネルギー効率や運用コストが今後のAI研究に重大な影響を及ぼすことを指摘し、長期的見地からのハードウェアの再設計の必要性を訴えています。
この洞察は、未来のAI開発において地政学的な制約なども含めて、ハードウェアとソフトウェアの両面から全方位的なアプローチが求められることを示しています。
出典 : 2012年のGPUでGPT-4を訓練するシミュレーションが示したコストと効率のリアル | Gadget Hack https://tech-gadget.reinforz.co.jp/10714