LLM APIは、トークンを基にした料金体系を採用しています。トークンとは、機械が読み取ることができる文字や単語のことで、これらは言語モデルの処理単位となります。ですから、トークンの数に基づいて課金されることになります。
多くのプロバイダーは、使った分だけを課金する従量課金制をとっているため、使用した入力と出力のトークン数によって料金が変わります。このシステムでは、小さな文字から大きな文章まで、企業のニーズに応じた柔軟な利用が可能ですし、コストを正確に把握することができます。
出典 : LLM API：ギャップを埋めるためのヒント | IBM https://www.ibm.com/jp-ja/think/insights/llm-apis
