JSON、TSV、YAMLなど、データ形式は様々ですが、コストや処理速度に大きな違いがあるのはご存知ですか？
この記事では、EUの国々の情報を例に取りながら、それぞれのデータ形式が消費する「トークン数」とは何か、その重要性について詳しく解説します。
同じデータセットを表現するのに必要なトークン数を比較し、データ管理のコストを節約するヒントを提供します。
また、この実験はLLM（言語モデル）を使用し、構造化データを様々なフォーマットに変換し、その精度も検証。
データをより効率的に扱いたい方必見の内容です。
JSONがトークンの大食いであることを示すチャートも解説しており、データフォーマットの選択が如何にコストパフォーマンスに影響するかがよくわかります。
自分のデータをテストし、最適なフォーマットを見つける一助となるでしょう。
出典 : LLM Output Formats: Why JSON Costs More Than TSV https://david-gilbertson.medium.com/llm-output-formats-why-json-costs-more-than-tsv-ebaf590bd541
