AppleとNVIDIAが開発した革新的な技術「ReDrafter」が、大規模言語モデルの処理速度を最大2.7倍に向上させました。この技術は、複数の可能性を同時に検討する「投機的デコーディング」という手法で、
効率的な言語生成を行うことがポイントです。伝統的な手法が1つのトークンを順に生成していましたが、「ReDrafter」は複数を同時に予測します。
この方法は、GPUの使用量も減少させ、データセンターの電力消費を削減する可能性があります。さらに、特定のタスクでの性能は従来以上に高いことが確認されており、プログラミング支援ツールなどの実用化にも貢献すると期待されています。
高速で効率的、かつ省エネな技術「ReDrafter」がAIの未来を切り開きます。
出典 : AppleとNVIDIAが手を組む – LLM高速化技術「ReDrafter」で2.7倍の性能向上を実現 https://xenospectrum.com/apple-and-nvidia-join-hands-llm-acceleration-technology-redrafter-improves-performance-by-2-7x/
