PyTorchはAI分野における開発の必需品で、その新バージョン2.5がリリースされました。今回のアップデートでは、特に大規模AIモデルの開発が行いやすくなっています。最新のH100 GPUを使用した場合、scaled dot-product attention (SDPA)の計算速度が最大75%向上し、nn.Moduleのコンパイル時間を削減する地域コンパイル機能が導入されています。
これにより、大規模言語モデル（LLM）など、同じ処理の繰り返しに最適化されています。さらにTorchInductorのCPPバックエンドがFP16サポートや最適化モードを備え、従来のモードよりも一貫して高性能を誇っています。
一方で、前バージョンのPyTorch 2.4ではPython 3.12のサポートとGPUモデルのパフォーマンス向上に重点を置き、分散トレーニングの改善に努めました。新たなPyTorch 2.5では、これに加えてTorchRecやTorchFixなどのエコシステムプロジェクトを拡張し、さまざまなハードウェアでのAIアプリケーションに対応します。
さらにIntel GPUへのFP16サポート導入などにより、多様なハードウェア環境での開発が可能になり、ユーザーはこれまで以上に最適化されたツールを使用することができます。「ついにArc A770でテンソル平行処理が行える！」とRedditでのユーザーのコメントがありますが、それはIntel GPUへのサポートが待望されていた証でもあります。PyTorch 2.5はAI開発をより速く、効率的に進めるための大きな一歩と言えるでしょう。
出典 : PyTorch 2.5 Unleashes High-End GPU Performance, Supercharges LLMs https://analyticsindiamag.com/ai-insights-analysis/pytorch-2-5-unleashes-high-end-gpu-performance-supercharges-llms/