AI半導体ベンダーのFuriosaAIが、最新のAI加速器「RNGD（レネゲード）」を発表しました。
RNGDは、高性能な大規模言語モデルやマルチモーダルモデルの推論を効率的に行うことを目的としており、特にデータセンター向けに最適化されています。
製造パートナーTSMCから最初のシリコンサンプルを受け取ってから完全な立ち上げを成功させ、GPT-JやLlama 3.1などの大型言語モデルでの早期テストでは、約束された結果を示しています。RNGD PCIeカード1枚で、約100億パラメータのモデルに対して、秒間2,000から3,000トークンの処理能力を提供します。
この製品の主な革新点は、非matmulに基づくTensor Contraction Processor（TCP）アーキテクチャであり、効率性とプログラミング可能性、そして性能の完璧なバランスを実現します。さらに、TCPを最適化するように共同設計された堅牢なコンパイラによるプログラム可能性、そして競合するGPUと比較して150WのTDP（熱設計電力）を実現し、48GBのHBM3メモリはLlama 3.1 8Bのようなモデルも単一のカードで効率的に動かす能力を提供します。
出典 : FuriosaAI Launches AI Accelerator Chip 'RNGD' for High-Performance LLM Inference https://www.thefastmode.com/technology-solutions/36941-furiosaai-launches-ai-accelerator-chip-rngd-for-high-performance-llm-inference