アップル社は独自のシリコンを用いてLarge Language Models（LLM）の性能を向上させていますが、NVIDIA社との協力も辞さない構えをブログで明らかにしました。
新しい「Recurrent Drafter（ReDrafter）」技術を公開し、オープンソース化しました。この技術は、ビームサーチとツリーアテンションの2つのアプローチを組み合わせており、テキスト生成のパフォーマンスを向上させることができます。
アップルとNVIDIAは、ReDrafterをTensorRT-LLMに統合し、NVIDIAのGPU上でLLMがより速く動作するようにしました。
ベンチマーク結果では、生成トークンの速度が2.7倍になるなど、ユーザーの体感する遅延を大幅に削減しながら、GPUの消費と電力の使用を減らすことができる可能性を示しています。
ただ、過去の複雑な関係から、アップルとNVIDIAとの長期的なビジネス関係の構築は期待できませんが、このような短期の協力関係は、将来的にも見られるかもしれません。
出典 : Apple Has Teamed Up With NVIDIA To Research On A ‘ReDrafter’ Technique That Speeds Up Text Generation With Large Language Models https://wccftech.com/apple-and-nvidia-researching-on-redrafter-technique-to-increase-llm-performance/
