AWSは、Kubernetes用Amazon SageMaker Operatorsの新バージョンを発表しました。これにより、Kubernetesを用いたユーザーがAWSリソースを容易にプロビジョニングできるようになります。
最新のv1.2.9では、推論コンポーネントに対応し、モデルデプロイコストの平均50%削減とレイテンシ削減が可能となりました。これにより、複数の基盤モデルを同一エンドポイントにデプロイし、リソースの利用効率を向上させることができます。
また、新しい推論コンポーネントは、Amazon EKS集約クラスタを簡単に導入できるようになっており、詳細はAmazon SageMakerのドキュメントで確認できます。
アメリカやアジア太平洋地域を含む多くのAWSリージョンで今すぐ利用可能で、SageMakerのプライシングページで料金詳細を確認できます。
この革新的な機能により、サービスの品質を向上させつつコストを抑えたいと考えている方には打ってつけのサービスです。
出典 : https://aws.amazon.com/blogs/machine-learning/use-kubernetes-operators-for-new-inference-capabilities-in-amazon-sagemaker-that-reduce-llm-deployment-costs-by-50-on-average/