AppleがNvidiaと手を組み、オープンソース技術「ReDrafter」を活用して、言語モデルの処理速度を飛躍的に向上させる共同作業をスタートしたことを明らかにしました。
このパートナーシップは、リアルタイムでの大規模言語モデルをスムーズに動作させるために、生成される各トークンの計算処理を効率化することに焦点を当てています。
2024年11月にAppleによって導入されたReDrafterは、予測的デコード方式を採用し、従来の自動回帰法に比べて秒間2.7倍のトークンを生成できます。
また、この技術はNvidiaのTensorRT-LLMフレームワークに統合されることで、より多くの開発者が大規模なモデルのパフォーマンス最適化を図れるようになります。
Appleによれば、ReDrafterはユーザーの待ち時間を短縮するだけでなく、必要なGPUの数を減らすことが可能で、結果として計算コストの削減と電力消費を低減するといいます。
今のところこの協力はNvidiaのインフラに集中していますが、将来的にはAMDやIntelなどの競合するGPUにも同様の利点が拡張される可能性があります。
このような革新は機械学習の効率を大きく向上させる可能性があります。Nvidiaとの共同作業についての詳細は、Nvidiaの開発者向け技術ブログで確認することができます。
出典 : Apple embraces Nvidia GPUs to accelerate LLM inference via its open source ReDrafter tech https://www.techradar.com/pro/apple-embraces-nvidia-gpus-to-accelerate-llm-inference-via-its-open-source-tech-redrafter
