NvidiaからAIチャットボット「Chat With RTX」がリリースされました。このツールは、Nvidia RTXグラフィックスカードを搭載したPCでローカルに動作し、ChatGPTに似たパーソナライズされた会話が可能です。MistralやLlamaのオープンウェイトLLMを用い、ローカルファイルを検索し、それについての質問に答えることができます。
「Chat With RTX」は、Windows PCに搭載されたNVIDIA GeForce RTX 30または40シリーズのGPUで動き、会話を通じたデータ分析や要約もできます。しかしながら、このシステムはまだ完成段階ではなく、試験運用中にはたびたびクラッシュしました。依存するソフトウェアが多いため、インストールは複雑で、約35GBもの大容量ファイルを含むダウンロードが必要です。
その一方で、ローカル処理によりユーザーのプライバシーが守られるという大きなメリットがあります。クラウドベースのサービスを使う必要がなく、感度の高いデータを外部に送信しなくても済みます。詳細はNvidiaのウェブサイトで確認することができ、Nvidia GPUオーナーは無料でダウンロード可能です。エッジの効いた新技術を体験したい方は、ぜひチェックしてみてください。
出典 : https://arstechnica.com/information-technology/2024/02/nvidias-chat-with-rtx-is-a-chatgpt-style-app-that-runs-on-your-own-gpu/