Fastlyは、AIを活用した応答の高速化と料金削減を目指す「Fastly AI Accelerator」の正式リリースを発表しました。
特に、生成AIをAPI経由で利用する際に発生する、レスポンスの遅延や高額な料金問題を解決します。
このシステムでは、似たような質問に対しては以前の回答をキャッシュとして再利用できるため、応答速度が大幅に向上。
実際にベータ版を利用した結果、応答速度が平均で9倍になったと報告されています。
さらに、「セマンティックキャッシュ」という技術を用いて意味的に似た質問でもキャッシュを利用可能です。
ChatGPTやMicrosoft Azure AI Foundryにも対応しており、幅広いAPIリクエストに革新をもたらすことが期待されています。
出典 : Fastlyが「AI Accelerator」正式リリース、生成AIからのレスポンスをキャッシュし高速化とコスト削減を実現 https://www.publickey1.jp/blog/25/fastlyai_acceleratorai.html
