OpenAIが開催した「OpenAI DevDay」で、リアルタイムAPIが発表されました。この機能を使うと、予測中の推論オペレーションで音声言語による即時のやり取りが可能になり、人とAIの会話が滑らかになります。ただし、このサービスは追加料金が必要で、リアルタイムでのテキスト入出力は従来の約2倍の費用がかかります。
また音声トークンも使用できますが、こちらはさらに高額です。ただし、プロンプトキャッシングなどの手法によってコストは削減可能であり、実用的なヘルスコーチや語学チューターなど、多彩な利用が期待されています。
出典 : OpenAI、リアルタイムAPIをプレミアム料金で提供へ–音声でのやり取りも可 https://japan.zdnet.com/article/35224575/