NVIDIAのRTXやGeForce RTX技術を搭載したAI PCの時代が到来しています。この世代ではAI加速タスクの実行能力が新しい評価基準となります。TOPS（1秒間に数兆回の計算を行う能力）は、AI PCの性能を測る重要な指標の一つです。
例えば、マイクロソフトのCopilot+ PCは、ライトなAI支援タスクに十分な40 TOPSの処理能力を持つNPU（ニューラル・プロセッシング・ユニット）を搭載しています。しかし、NVIDIAのRTXやGeForce RTX GPUは、AIアシストのデジタルコンテンツ作成やLLM（大規模言語モデル）の検索など、要求の厳しいタスクに不可欠な1,300TOPS以上の性能を提供しています。
AIの性能は、生成される「トークン（単語や句読点、空白など）の数」で測られます。また、同時に処理する入力数を表すバッチサイズもパフォーマンス向上に不可欠です。RTX GPUは、大量のビデオRAM、Tensorコア、TensorRT-LLMソフトウェアによって、この分野でも優れています。
さらに、RTX GPUを使用することで、Stable Diffusionなどの画像生成スピードが向上し、現実世界でのイメージ生成やゲームプレイにおいても、ユーザーはこれまでにない速度でプロンプトの調整を行うことができます。これらの進展は、Jan.aiのAI研究者たちがオープンソースで提供している実際のアプリケーションを通じても確認されています。
出典 : Decoding AI Performance: Analyzing TOPS and Tokens on NVIDIA RTX PCs https://blockchain.news/news/decoding-ai-performance-tops-tokens-nvidia-rtx
