今年のRed Hat Summitは、AIインフェレンスに注目を集めています。オープンソース企業であるRed Hatは、Linuxを重要なものにしたのと同様に、AIの完全な可能性を解き放つ技術として重要な役割を自らに見出しています。AI Inference Serverとllm-dコミュニティという、二つの新しい取り組みを通じて、AI時代のインフラをさらにプロフェッショナルにするためのリソースが整えられる予定です。
AIインフェレンスは、訓練されたモデルが現実世界のシチュエーションに学んだことを応用することで、AIを実用化する要素です。しかし、Red Hatによると、生成的AIモデルの複雑さと生産のスケールアップにより、AIインフェレンスが企業のボトルネックになりつつあります。Red Hat AI Inference Serverでは、モデル圧縮と最適化のためのツールを特徴として、性能向上を図っています。
さらに、Red Hat AI Inference Serverは、重要な生成的AIモデルを即座にサポートする予定です。セキュリティが確保されたRed Hat Enterprise Linux AIやRed Hat OpenShift AIの一部、または独立したコンテナライズドソリューションとして提供されます。企業はどのモデルも、どんな加速器も、任意のクラウド環境でも実装できる将来をRed Hatは見ており、llm-dコミュニティの繁栄とオープンスタンダードとしての地位を築くことが、その鍵となります。
出典 : Red Hat lays foundation for AI inferencing: Server and llm-d project https://www.techzine.eu/blogs/infrastructure/131590/red-hat-lays-foundation-for-ai-inferencing-server-and-llm-d-project/
