TASUKIツールとは、RAG向けデータ作成を支援するツールです。特に便利なのがアップロードされたファイルを自動で処理する「自動構造化機能」。この機能を利用して、毎日のように届く膨大な
データの変換作業を効率化しています。しかし、その中でLLM APIを用いた時にサービスのパフォーマンスの課題があることに気づきました。
そこでLLM APIを使った際のパフォーマンス向上の工夫として、Amazon SQSとLambdaを駆使し、ユーザビリティを損ねることなく高速処理を実現。この記事で
は、そんなTASUKIツールの効率的かつ高速なデータ処理のアーキテクチャと工夫についてご紹介します。読めばデータ自動化の可能性にワクワクすること間違いなしです。
出典 : 大量データをLLM APIで処理するサービスを構築する際のプラクティス｜クラウドテクノロジーブログ｜ https://www.softbank.jp/biz/blog/cloud-technology/articles/202412/llm-api-sqs-lambda-architecure/
