NVIDIAは、大規模言語モデル（LLM）の最先端技術を日々改良しており、データセンターインフラへの要求が高まる中で、高いスループットと低レイテンシーを実現するプラットフォームの投資価値を高めています。
最新のモデルであるNVLM-D-72Bを始めとする、メタのLlamaやグーグルのGemmaなど、様々な会社のモデル最適化に努めています。
その結果、顧客はより複雑なモデルを活用し、必要なインフラの規模を縮小させることができるようになっています。
また、NVIDIAの技術は、効率的な並列化技術やTensorRT-LLMのような特化ライブラリーを使用し、複数のGPU間でモデルを効率的に分散処理することを可能にしています。
これにより、エネルギー効率の良い方法で、高性能を持続させ、顧客により良い投資リターンを提供しています。
さらに、新しいAIモデルが市場に出されるごとに、NVIDIAはこれらを最適に稼働させるサービスを提供し続け、デプロイを容易にする技術を開発しています。
出典 : What’s the ROI? Getting the Most Out of LLM Inference https://blogs.nvidia.com/blog/llm-inference-roi/