Uberが外部ベンダーや自社ホストの大規模言語モデル(LLM)を統一的に提供するGenAI Gatewayを開発しました。これはオープンAIのAPIに準拠して設計され、
60以上の異なるLLMユースケースに対応し、社内採用をスムーズに進めています。自動化やカスタマーサポート、コンテンツ生成など様々な領域でAI機能を取り入れてきたUberですが、統合作業の分散による問題
顕在化に対応するため、GenAI Gatewayを中心点として設立したのです。
このGatewayは、認証管理やキャッシング、監視機能を備え、個人を特定できる情報(PII)の取り扱いにも対応。また、第三者ベンダーにデータを送る前にPIIデータを匿名化し、
安全性の確保を目指します。ゲートウェイでは顧客サポートの会話概要を生成し、エージェントの作業効率改善に貢献。97%の概要が有用で、ユーザーの問い合わせ処理
時間が平均6秒短縮されました。現在は週に約2000万の概要を生成しており、今後、さらにリージョン拡大と使用場合への適応を目指しています。
Uberは今後もGenAI Gatewayを発展させ、より賢いキャッシングやフォールバックロジックの改良、幻覚検出、安全・ポリシーのガードレール導入に
取り組んでいく予定です。UberがAI技術をいかに業務に応用したか、その効率的なアプローチをこの要約にてご紹介します。
出典 : Uber Creates GenAI Gateway Mirroring OpenAI API to Support Over 60 LLM Use Cases https://www.infoq.com/news/2024/09/uber-genai-gateway-llm-openai/