機械学習の重要な課題の一つに、時間と計算資源を消費する自動回帰的なトークン生成の高速化があります。この問題に対処するため、アップルのシリコンやNVIDIA GPUで推論を速める研究が進んでいます。
特にNVIDIA GPUに注目すれば、産業界で広く使われる生産アプリケーションのLLM推論を加速する目覚ましい進展がありました。
今年初め、私たちはRecurrent Drafter（ReDrafter）を開発し、オープンソース化しました。これは、LLMトークン生成を一度に最大3.5トークンまで加速させる新しい手法です。
この技術は、NVIDIA TensorRT-LLM推論加速フレームワークに統合され、製品化されています。
実験では、NVIDIA GPUで数十億パラメータのモデルを使用し2.7倍の速度向上を実証しました。
この技術は、使用するGPUの数を減らし、消費電力を削減しつつ、ユーザーの待ち時間を短縮する可能性を示しています。
NVIDIAの開発者ブログでさらに詳しく説明しています。
出典 : Accelerating LLM Inference on NVIDIA GPUs with ReDrafter https://machinelearning.apple.com/research/redrafter-nvidia-tensorrt-llm
