人工知能企業Anthropicは、ビジネスにおけるAI利用コストを削済み、パフォーマンスを向上させるための「プロンプトキャッシング」という新機能を発表しました。この機能は、特定の文脈情報を一度保存して再利用することで、繰り返しのコストやレイテンシーを削減できるというものです。
「クロード」モデルの新バージョンに組み込まれたこの機能は、対話型エージェント、広範な文書処理、コーディングアシスタント、そして複数ツールの効率的な使用など、ビジネスにおけるAIの様々なアプリケーションに利益をもたらす可能性があります。
Anthropicはこの新機能がコストを最大90％削減し、特定の用途では応答時間を2倍まで短縮できると主張しています。また、小規模ビジネスでも高度なAIを手軽に利用できるようにするなど、AI産業全体への影響も期待されています。
他のIT大手もだれが先に使いやすさやコストパフォーマンスを高めるか競っていますが、Anthropicのプロンプトキャッシングは、独自の技術革新として注目されています。実際の効果はこれからのベータテストや実践的な応用で明らかになるでしょう。
出典 : Anthropic’s New Feature Allows Businesses to Reuse Prompt Information https://www.pymnts.com/artificial-intelligence-2/2024/anthropic-unveils-ai-prompt-caching-for-its-llms-to-slash-costs-and-boost-speed/