NVIDIAのAI技術がSageMakerと連携!効率的な大規模言語モデルの展開

2024.03.20

WorkWonders

NVIDIAのNIMマイクロサービスは、Amazon SageMakerと統合され、業界をリードする大言語モデル(LLM)を素早くデプロイし、モデルのパフォーマンスとコストを最適化することができます。NVIDIAの高速化されたインスタンスを活用し、数分でLLMを立ち上げ、自然言語処理(NLP)能力をあなたのアプリケーションにもたらすことが可能です。NIMは、NVIDIA AI企業向けソフトウェアプラットフォームの一部としてAWSマーケットプレイスに掲載されています。

この記事では、NIMの基本的な紹介と、SageMakerでの使用方法を高レベルで説明し、効率的なLLM展開の利点を伝えます。NIMでは、既存のさまざまなモデルに対して、特定のNVIDIA GPU向けに最適化されたTensorRTエンジンを事前生成しています。また、カスタムメイドのコンテナ作成もサポートしているため、柔軟性も魅力です。

今後も、NIMはさらなる機能向上を図り、PEFTカスタマイズ方法の提供や、Triton Inference Server、TensorRT-LLMとvLLMバックエンドのサポートを展開予定です。AWS Marketplaceで提供される有料オファリングとして、NVIDA AI企業向けソフトウェアサブスクリプションを通じて、NIMの詳細を調べて実際にLLMをSageMakerを使用して展開し、そのメリットを体験してみてはいかがでしょうか。

出典 : https://aws.amazon.com/blogs/machine-learning/optimize-price-performance-of-llm-inference-on-nvidia-gpus-using-the-amazon-sagemaker-integration-with-nvidia-nim-microservices/

【このニュース記事は生成AIを利用し、世界のAI関連ニュースをキュレーションしています】

ワークワンダース社は、生成AIの活用・導入について客観的な立場からご相談に応じています。

生成AIに関するご相談はこちらからご連絡ください。 当社のご支援実績はこちらからご確認ください。