NVIDIAのNIMマイクロサービスは、Amazon SageMakerと統合され、業界をリードする大言語モデル（LLM）を素早くデプロイし、モデルのパフォーマンスとコストを最適化することができます。NVIDIAの高速化されたインスタンスを活用し、数分でLLMを立ち上げ、自然言語処理（NLP）能力をあなたのアプリケーションにもたらすことが可能です。NIMは、NVIDIA AI企業向けソフトウェアプラットフォームの一部としてAWSマーケットプレイスに掲載されています。
この記事では、NIMの基本的な紹介と、SageMakerでの使用方法を高レベルで説明し、効率的なLLM展開の利点を伝えます。NIMでは、既存のさまざまなモデルに対して、特定のNVIDIA GPU向けに最適化されたTensorRTエンジンを事前生成しています。また、カスタムメイドのコンテナ作成もサポートしているため、柔軟性も魅力です。
今後も、NIMはさらなる機能向上を図り、PEFTカスタマイズ方法の提供や、Triton Inference Server、TensorRT-LLMとvLLMバックエンドのサポートを展開予定です。AWS Marketplaceで提供される有料オファリングとして、NVIDA AI企業向けソフトウェアサブスクリプションを通じて、NIMの詳細を調べて実際にLLMをSageMakerを使用して展開し、そのメリットを体験してみてはいかがでしょうか。
出典 : https://aws.amazon.com/blogs/machine-learning/optimize-price-performance-of-llm-inference-on-nvidia-gpus-using-the-amazon-sagemaker-integration-with-nvidia-nim-microservices/