Bazaarvoiceは、大量のユーザレビューを扱えるよう、テキストのセマンティック圧縮技術を開発しました。この技術は、意味を失わせることなくテキストの量を削減し、大言語モデル（LLM）の使用コストを大幅に下げることを可能にしました。
セマンティックに類似したレビューをクラスタリングすることで、重複する情報を省略し、限られたコンテキストウィンドウ内で効率よくLLMを使用できます。
また、マルチパスクラスタリングとランダムサンプリングを用いることで、より圧縮しつつレビューの本質を保ちます。
この方法は、ビリオン規模のレビュー集計で82.4％のコストカットを実現。
Bazaarvoiceは、今後もビジネスの拡大に向けた技術的基盤を築いています。
出典 : Semantically Compress Text to Save On LLM Costs https://towardsdatascience.com/semantically-compress-text-to-save-on-llm-costs-0b3e62b0c43a
