AMDは、小規模企業が「メタのラマ 2および3」のような大規模言語モデル(LLMs)を利用しやすくなるRadeon PRO GPUとROCmソフトウェアの進化を発表しました。
新たにリリースされたラマ3.1を含むこれらのモデルは、AMDの専用AIアクセラレーターと大容量メモリ搭載のRadeon PRO W7900 Dual Slot GPUにより、市場最高のコストパフォーマンスを提供し、チャットボットや技術文書の検索、カスタマイズされたセールスピッチなど、カスタムAIツールのローカル実行を可能にしています。
ROCm 6.1.3においては、複数のRadeon PRO GPUでのAIツールの運用をサポートし、中小企業がより大きく複雑なLLMを操作できるようになりました。
AMDは、LM Studioというアプリケーションを通じて、LLMsを標準のWindowsラップトップやデスクトップシステムで動かすことを簡単にします。
このアプリケーションはAMDのGPUで最適化されており、現行のAMDグラフィックカード内の専用AIアクセラレーターを活用して性能を向上させています。
さらに、32GBのRadeon PRO W7800や48GBのRadeon PRO W7900などのプロフェッショナルGPUは、より大きなモデルもサポート。
性能テストでは、Radeon PRO W7900がNVIDIAのRTX 6000 Ada Generationに比べて38%高い性能を提供することが示されています。
これにより、AMDのハードウェアとソフトウェアの進化により、小規模企業でもビジネスやコーディングのタスクを強化するためにLLMを展開し、カスタマイズすることが可能になりました。
出典 : AMD Radeon PRO GPUs and ROCm Software Expand LLM Inference Capabilities https://blockchain.news/news/amd-radeon-pro-gpus-and-rocm-software-expand-llm-inference-capabilities