NVIDIAはAppleと協業し、新しい推論デコード手法ReDrafterをTensorRT-LLMライブラリに導入しました。
この技術はNVIDIA H100 GPUで最大2.7倍のスループット向上を実現し、大規模言語モデルの推論効率を飛躍的に高めています。
ReDrafterは、推論中に最適な経路を確認し採用することで結果の品質を保ち、計算コストを削減しています。
さらに、実行時のオペレーションに依存しない新しいアプローチにより、以前のソリューションを大幅に進化させています。
ライブラリに追加されたinflight batchingにより、リクエストを分割し、使用リソースを最大限に活用し、これにより特にアクセスが少ない時間帯でも効率的なリソース使用が可能になります。
NVIDIAは、これらの進化を通じて、開発者たちがより高性能かつ効率的なモデルを開発し実装できるとしています。
この連携は、NVIDIAがAIインフラでのリーダーシップを目指し、そのシステムに革新的な技術を取り入れる戦略を強調しています。
また、Appleとの協業は、推論デコードの進化がLLMのプロセスをどう強化するかを示しつつ、次世代のAIアプリケーションへの道を準備しています。
原文はGuruFocusで初めて掲載されました。
出典 : NVIDIA and Apple Boost LLM Inference Efficiency with ReDrafter Integration https://finance.yahoo.com/news/nvidia-apple-boost-llm-inference-095917343.html
