サーバーレスなエンドポイントを提供するLLMサービスでは、使用されるトークン数に基づいた料金が発生しますが、専用エンドポイントでは計算時間に基づいて料金が決まります。特にOpenAIやAnyscaleなどの有料モデルと、Cohereのオープンソース化されたモデル、そしてHuggingFaceでのオープンソースモデルにおいて価格差が生じます。
また、基本モデルでは入力と出力で異なる料金が設定されており、出力トークンの方が高コストですが、平均コストを用いた定額制の場合もあります。テキストの埋め込み機能においては、大きなコンテキストウィンドウを持つモデルか、小さなコンテキストウィンドウを持つモデルかによっても性能が異なります。
さらに、ほとんどのプラットフォームではAPI使用時とは別に最初の無料クレジットを提供し、利用者はこの無料クレジットを使用して様々なモデルを試すことができます。高コストの問題に直面しがちですが、適切なモデルとプラットフォーム選びで、コスト削減と性能のバランスを見つけることが可能です。
出典 : A Broke B**ch’s Guide to Tech Start-up: Choosing LLM — API Prices https://medium.com/before-you-launch/a-broke-b-chs-guide-to-tech-start-up-choosing-llm-api-prices-ad451a2abfd6
