Chat With RTXは、社内文書やYouTubeトランスクリプトをベースに質問に答えるローカルアプリです。このアプリはインターネットに接続せずに、高速な回答を生成できます。
TensorRT-LLMによって最適化されたモデルを使用し、外部の情報を元に回答を生成するRAG（Retrieval Augmentation Generation）が実装されています。これにより、内部的な文書を参照しながら、ローカルで安全にチャットが可能です。
また、量子化されたLlama2 13BやMistral 7Bなどの言語モデルが利用でき、メモリ消費を抑えながら効率的に動作します。利用者は簡単にセットアップでき、Pythonプログラムを通じて操作できるので、技術知識がない人でも手軽に使用できます。
ただし、現在は英語に対応しているため、日本語のみのコンテンツは取り扱えませんが、トランスクリプトが利用可能であれば、日本語の質問に対しても英語で回答を得られます。
出典 : https://internet.watch.impress.co.jp/docs/column/shimizu/1569783.html