MemVergeは、データ集約型アプリケーションを加速し最適化する
ソフトウェアを提供する企業で、コンピュートエクスプレスリンク（CXL）技術を使用して、大規模言語モデル（LLM）のパフォーマンスを向上させるためにMicronと提携しました。MemVergeのMemory MachineソフトウェアはCXLを利用して、GPUのメモリローディングによるアイドル時間を削減します。
2024年のNvidia GTCのMicronブースで披露されたデモでは、MemVergeのCEO兼共同創立者であるCharles Fanが、「GPUをデータで常に稼働させることが、大規模言語モデルパフォーマンスのコスト効率の良いスケーリングを意味する」と述べ、メモリの階層化はパフォーマンスを向上させるだけでなく、貴重なGPUリソースの利用を最大化すると強調しました。
デモでは、高性能のFlexGen生成エンジンと大容量のOPT-66B言語モデルが、Supermicro Petascaleサーバー上で実施され、AMD Genoa CPU、Nvidia A10 GPU、Micron DDR5-4800 DIMM、CZ120 CXLメモリモジュール、およびMemVerge Memory Machine Xのインテリジェントティアリングソフトウェアが搭載されていました。
結果として、従来のNVMeストレージ方式に比べてFlexGenのベンチマークは半分以下の時間でタスクを完了し、GPUの利用率は51.8％から91.8％へと大幅に向上しました。この進歩は、MemVergeのMemory Machine XソフトウェアによるGPU、CPU、CXLメモリ間の透過的なデータ階層化が寄与しています。
しかしながら、専門家の中にはこの主張に懐疑的な声もあります。ただし、MemVergeのスポークスパーソンはその懸念に応じて、「このソリューションはHBMを使うその他のGPUにおいても同じ効果がある」と述べ、GPU、CPU、CXLメモリモジュールを含むメモリ階層全体を管理すると強調しています。
出典 : https://www.techradar.com/pro/startup-claims-to-boost-llm-performance-using-standard-memory-instead-of-gpu-hbm-but-experts-remain-unconvinced-by-the-numbers-despite-promising-cxl-technology