今年の開発者サミットで、Red Hatは新たにオープンソースプロジェクトとして「llm-d」を発表しました。
「llm-d」プロジェクトは、分散型の汎用AI推論を規模に応じて可能にすることを目指しています。
Red Hatを始め、NVIDIA、AMD、Intel、IBM Research、Google Cloud、CoreWeave、Hugging Faceなど複数の企業やAI関連団体が協力しています。
このソフトウェアは、Kubernetesの上に構築されており、分散推論にはvLLMを使用します。
さらに、キーバリューのキャッシュオフローディング、AIに対応したネットワークルーティング、高性能通信APIなど、
分散型のAI推論を効率的に扱うための機能を備えています。
プロジェクトの詳細は新設されたウェブサイト「llm-d.ai」で自己紹介されており、
Red Hatのプレスリリースを通じて、関心のある人々がさらに情報を得られるようになっています。
出典 : Red Hat Announces The llm-d Open-Source Project For Gen AI – Phoronix https://www.phoronix.com/news/Red-Hat-llm-d-AI-LLM-Project
