大言語モデル（LLM）の進化が進む中で、企業は特定の用途に適したモデル採用に走っていますが、選択肢が多岐にわたり迅速に動くエコシステムでは難しい課題に直面しています。新たに現れたスタートアップ、Not Diamondは、この問題を解決すべく、賢いルーティングこそが答えだと主張します。
サンフランシスコを拠点とするこの企業は、新しいLLMルーターを開発し、複数のモデルを使い分け、最も適したモデルへクエリを自動的に振り分けることで、応答品質の向上や遅延の低減、コスト削減などが実現可能です。企業の特性に最適なモデルを選ぶことで、業務効率とコストパフォーマンスの両立を図っているわけです。
Not Diamondは、AI分野の著名人々からの資金調達も行い、現在はさまざまな特別機能の開発に注力しており、幅広い採用を目指すスタートアップです。すでにいくつかの企業がこの技術を採用し、LLMの出力品質向上とインフラコスト、レイテンシーの削減を実感しているとのことです。
出典 : Not Diamond automatically routes your query to the best LLM https://venturebeat.com/ai/not-diamond-automatically-routes-your-query-to-the-best-llm/