パワー予算に制約を受けているAI事業者やハイパースケーラーに朗報です。Pliopsが、サーバーの消費電力を最適化し、コスト削減と環境への負荷を低減するAI向けの新技術を発表しました。来週のSC24で公開されるPliopsのXDP LightningAIソリューションは、GPUサーバーとの組み合わせで持続可能な高効率AI運用を可能にします。
データセンターでは、AIインフラの拡張によるエネルギー消費増大が問題となっています。Pliopsはこれに対するリッチなAIソフトウェアスタックと分散型XDP LightningAIノードを提供し、GPUによるキーバリューI/Oインターフェイスを活用して、HBMより下の階層にメモリ層を作り出します。
LLM推論に特化しており、SC24のデモでは、LLM推論アプリケーションの高速化が中心となっています。バッチサイズを大きくすることで、プリフィル時間が改善され、エンドツーエンドのスループットも向上します。PliopsのCEO、Ido Bukspan氏は、「最先端の技術を活用して、AI駆動の業務において前例のない性能と効率を達成する」と述べています。
PliopsはFMS 2024の最も革新的なAIソリューション賞を受賞し、これまでに2億ドル以上の資金を調達しています。より詳しい情報は、www.pliops.comをご覧ください。www.pliops.com。
出典 : Pliops to Highlight Efficient LLM Inference with XDP LightningAI at SC24 https://www.hpcwire.com/off-the-wire/pliops-to-highlight-efficient-llm-inference-with-xdp-lightningai-at-sc24/