AWS上でのLLM（大規模言語モデル）アプリの展開は、MLOpsのオーバーヘッドを必要とせず、DevOpsの実践を用いて容易に行えます。
本記事では、オープンソースなサービスを利用して、インフラストラクチャとアプリケーションのパイプラインが完全自動化された状態で、LLMアプリをクラウドプロバイダであるAWSにどのように展開するかについて探求します。
例として、LlamaIndexが開発したコミュニティ用のRAGsチャットボットを使用するケースを見てみましょう。
IaC（Infrastructure as Code）はインフラのプロビジョニングを自動化し、一貫性のある繰り返し可能な構成を保証します。
この記事では、クラウドに依存しないTerraformに焦点を当てます。
IaCの自己サービスの主な目的は、開発者が効率的に仕事を進めるために、パイプラインに対するアクセス、制御、所有を強化することです。
以前私が書いたDevOps自己サービスモデルに関する5部作の記事では、関連するすべての側面について詳細に説明しています。
AWSへのコンテナ化アプリの展開方法は様々ですが、ECS Fargateを利用することにはいくつかの良い理由があります。
まず初めに、RAGsアプリをAWSにデプロイするための高レベルの展開図を考え出します。
パイプラインの概要もこの記事で掘り下げていきます。
出典 : https://medium.com/towards-data-science/deploying-llm-apps-to-aws-the-open-source-self-service-way-c54b8667d829