Appleは、NVIDIAと力を合わせて、大規模言語モデルの速度を飛躍的に高める技術「ReDrafter」を開発しました。従来よりもはるかに迅速にテキストを生成できるこの技術は、GPUの使用効率を上げ、電力消費の削減にも成功しています。
新技術の核心は、1回の処理で複数の予測を同時に評価することで、速度と効率を同時に向上させることです。これにより、ユーザーは待ち時間の短縮を実感できると同時に、環境への負荷も減らすことが可能になりました。
本技術を活用し、2024年3月にはオープンソースとして公開しました。これからのAI技術のさらなる進化に期待が高まります。
出典 : AppleがNVIDIAとの共同研究で大規模言語モデルのパフォーマンス高速化の成果を発表 https://gigazine.net/news/20241219-apple-nvidia-redrafter-tensorrt-llm/
