CDN大手のFastlyが、AIチャットボットなどに使われる大規模言語モデル(LLM)の遅さの改善に挑んでいます。彼らの新サービス「Fastly AI Accelerator」は、AIの回答をあらかじめキャッシュしておき、似たような質問を高速に処理できるようにすることで、AIの反応を格段に速くしています。
さらにAPI利用料の節約にもつながります。利用者は簡単なコードの変更で、この高速化サービスを取り入れることができるようになるため、開発者からも注目を集めています。
Fastlyはこの技術でAIアプリの性能向上とコストダウンを実現し、新世代のAI体験を提供します。
出典 : Fastlyの生成AIキャッシュが対応LLM拡充し攻勢、AIアプリの「もっさり感」解消 https://xtech.nikkei.com/atcl/nxt/column/18/00001/10022/