コールセンターアプリケーションの進化において、顧客からのサポートチケットを効率よく処理するシステムは、業務の自動化において重要な役割を担っています。しかし、従来のテキスト類似性に基づく自動ルーティングサービスでは分類ミスが頻発することが問題となっていました。そこで、新たにLLM（大規模言語モデル）によるルーティングサービスが注目されており、特定の問題を理解し、それに対処するために特化した「スリムなエージェント」というアプローチが提案されています。
この手法では、AIサービスの機能を特定のタスクに絞り、大掛かりなインフラよりも実用的で簡潔なソリューションを提供することを目指しています。例えば、ある支援システムを理解し特定の部門へチケットを適切に振り分ける域内特化知識が必要な場面では、巨大LLMサービスを使用することでコスト増大やサードパーティへの依存を避けつつ、必要な機能を向上させることができます。
このブログ投稿では、Rustによるマイクロサービスとして組み込まれる、小型のローカルホストされたLLMで構築されるスリムAIエージェントの手順について具体的な説明をしています。これには、オープンソースのUnslothフレームワークを活用した短時間のファインチューニングや、CPU上でのパフォーマンス向上を実現するためのLlama.cppのバインディングを使用することが含まれます。
この方法ではAI開発を迅速かつ簡潔にするという近年の動向に沿いながら、サービスのスケーラビリティと保守のしやすさを保った上で、インテリジェントなマイクロサービスを実現することができます。簡易的であるが緻密な問題に対応可能な、新しいソフトウェアソリューションを可能にするスリムAIエージェントというアプローチは、コストや計算資源の障壁を下げ、AIの統合をより実用的にしています。
出典 : Thin Agents: Creating Lean AI Services with Local Fine-Tuned LLMs https://towardsdatascience.com/thin-agents-creating-lean-ai-services-with-local-fine-tuned-llms-6253233d9798
