Appleのエンジニアは、NVIDIAとの共同作業により、大規模言語モデル（LLMs）を利用した高速なテキスト生成パフォーマンスを向上させる新たな詳細を発表しました。今年既に、AppleはRecurrent Drafter（ReDrafter）技術を公開し、オープンソース化しました。
ReDrafterは、ビームサーチ（複数の可能性を探索する手法）と動的ツリー注目（選択を効率的に扱う手法）を組み合わせた、LLMsによる文章生成のための新しい方法であり、「最先端のパフォーマンスを達成する」とされています。
Appleの研究では優れた結果を示していましたが、製品化に際してNVIDIAと協力しました。その一環として、ReDrafterはNVIDIAのTensorRT-LLMに統合され、NVIDIAのGPU上でLLMsを高速実行することを支援しています。
新たに追加されたオペレータや既存のものの露出拡大により、TensorRT-LLMは複雑なモデルや解読方法を容易に取り扱えるようになりました。この結果、機械学習開発者はNVIDIA GPUを使用して、TensorRT-LLMでのReDrafterによる高速なトークン生成を自身の生産LLMアプリケーションで利用できるようになったのです。
この技術のさらなる詳細については、AppleのウェブサイトやNVIDIAのブログポストで学ぶことができます。
出典 : Apple collaborates with NVIDIA to research faster LLM performance https://9to5mac.com/2024/12/18/apple-collaborates-with-nvidia-to-research-faster-llm-performance/
