AMD、小規模企業向けのAI性能を革新!「ラージ ランゲージ モデル」利用が容易に

2024.09.01

WorkWonders

AMDは、小規模企業が「メタのラマ 2および3」のような大規模言語モデル(LLMs)を利用しやすくなるRadeon PRO GPUとROCmソフトウェアの進化を発表しました。
新たにリリースされたラマ3.1を含むこれらのモデルは、AMDの専用AIアクセラレーターと大容量メモリ搭載のRadeon PRO W7900 Dual Slot GPUにより、市場最高のコストパフォーマンスを提供し、チャットボットや技術文書の検索、カスタマイズされたセールスピッチなど、カスタムAIツールのローカル実行を可能にしています。
ROCm 6.1.3においては、複数のRadeon PRO GPUでのAIツールの運用をサポートし、中小企業がより大きく複雑なLLMを操作できるようになりました。

AMDは、LM Studioというアプリケーションを通じて、LLMsを標準のWindowsラップトップやデスクトップシステムで動かすことを簡単にします。
このアプリケーションはAMDのGPUで最適化されており、現行のAMDグラフィックカード内の専用AIアクセラレーターを活用して性能を向上させています。
さらに、32GBのRadeon PRO W7800や48GBのRadeon PRO W7900などのプロフェッショナルGPUは、より大きなモデルもサポート。
性能テストでは、Radeon PRO W7900がNVIDIAのRTX 6000 Ada Generationに比べて38%高い性能を提供することが示されています。
これにより、AMDのハードウェアとソフトウェアの進化により、小規模企業でもビジネスやコーディングのタスクを強化するためにLLMを展開し、カスタマイズすることが可能になりました。

出典 : AMD Radeon PRO GPUs and ROCm Software Expand LLM Inference Capabilities https://blockchain.news/news/amd-radeon-pro-gpus-and-rocm-software-expand-llm-inference-capabilities

【このニュース記事は生成AIを利用し、世界のAI関連ニュースをキュレーションしています】

ワークワンダース社は、生成AIの活用・導入について客観的な立場からご相談に応じています。

生成AIに関するご相談はこちらからご連絡ください。 当社のご支援実績はこちらからご確認ください。