AIチャットボットアプリケーションの重要性は、その「心臓部」と呼ばれるLLMルーティングにあります。容量が大きく、文脈を広く理解できるモデルが多くの場合、優れた性能を示しますが、実用的な製品には必ずしも最高のものではなく、目的に最も適したモデルが求められます。
例えば、高度な数学の問題では最強のモデルが別のモデルを打ち負かすかもしれませんが、短くて的を得た回答をするモデルの方が特定のリクエストには適していることがあります。
また、コストと応答時間も重要な考慮事項です。たとえば、チャットのような単純なリクエストがほとんどならば、大容量のモデルによる応答はリソースの浪費になりえます。
さらに、何百万ものリクエストを処理したいとき、サーバーのキャパシティは限られており、ピークタイムには人気のモデルで応答時間が長くなることが予想されます。利用者を待たせないために、需要が少なくても受け入れられる品質を提供するモデルを使用して迅速に返信することができます。
出典 : LLM Routing — the Heart of Any Practical AI Chatbot Application https://towardsdatascience.com/llm-routing-the-heart-of-any-practical-ai-chatbot-application-892e88d4a80d
