AI技術、とりわけ言語モデルの進化に魅了された筆者は、仕事で毎日のようにChatGPTを活用しています。しかし、プライベートデータを取り扱うことができないという大きな制約に直面していました。そこで、個人情報を含むドキュメントを処理することを夢見て、自宅のPC上で実験を始めることにしました。
オープンソースのモデルを使って、既存の研究やブログ投稿から究極のハッキング言語モデルを作成しようと試みるも、限られたコンピューターリソースの中で難航し、実験は失敗に終わります。しかし、NVIDIAからリリースされたツール、Chat with RTXが登場し、新たな希望が生まれました。
これはRTXビデオカードを利用して、自分のPCにあるドキュメント集を用いて会話ができるツールです。セットアップは簡単で迅速、しかし実際に質問した時の応答は一貫性に欠ける結果に。特定のドキュメントを話題にした時にはそれなりに優れた対話ができるものの、一般的な質問には力不足でした。
この経験から、Chat with RTXが特定の狭い用途では有用かもしれないことが見えてきますが、それでもなお改善の余地は大きいことを感じます。これが、プライベートデータを扱える地元のLLMをより一般に提供する第一歩となることを願っています。
出典 : https://slava-moskvin.medium.com/local-llm-for-ultimate-hacker-chat-b67c49f9f953