Amazon Web Services（AWS）が、「AWS re:Invent 2024」にて、AI基盤モデルを使いやすくするAmazon Bedrockの新機能を公開しました。
プロンプトキャッシングによって、頻繁に使われる質問を記憶し、コストと時間を大幅に削減することが可能です。
たとえば、同じドキュメントに何度も同じ質問をしたり、プログラマが同じコードに何度も問いかけるような場合でも、キャッシュした内容の再利用により、コストは最大90％、レイテンシは85％減少します。
さらに、質問の複雑さに応じて最適なモデルを選ぶインテリジェントプロンプトルーティングも搭載。
これにより、シンプルな質問は安価で迅速に処理し、複雑な質問には高性能モデルを使い、コストを最大30％減らします。
これらの機能に加え、構造化データ取得やマルチモーダルなデータ抽出支援など、多彩な新機能が加わっています。
次世代のAI活用を支えるAmazon Bedrockの新展開に、ぜひご注目ください。
出典 : 「Amazon Bedrock」が生成AIのコストを最大90％節約できるプロンプトキャッシングなど新機能を搭載 https://www.publickey1.jp/blog/24/amazon_bedrockai90.html
