超大規模画像/テキストデータセットを活用したAI開発:Amazon SageMaker を駆使

2023.11.17

WorkWonders

まず、オープンソースのデータセット『Laion-5B』を用いました。このデータセットにはインターネット上から収集した数十億件の画像とテキストが繋がっています。私はこれらのデータをパケット形式でダウンロードし、AmazonのストレージサービスS3に保存しました。その後、その画像自体をダウンロードしました。その結果、S3にはきれいにデータが保存されました。

次に、SageMakerでのトレーニングジョブのために、自分のS3パスから新たに『FSx for Lustre』という高速ファイルシステムを作成しました。これにより、ダウンロード時間が90分以上かかるはずのデータを60秒以下に短縮することができました。この時点でデータ量は約9.5TBになっていました。

更に、全てのデータを索引化するためのjson lineを構築し、192のGPUで分散トレーニングを行いました。1エポック(全データを一度通した状態)を通過するのに15分、全体的なジョブは約60分で完了しました。その結果を見ると、GPUの最適化にはまだ大きな可能性があると感じました。これらすべてを通じて、我々はAI開発の技術を進化させることが出来ます。

出典 : https://medium.com/@emilywebber/how-i-trained-10tb-for-stable-diffusion-on-sagemaker-39dcea49ce32

【このニュース記事は生成AIを利用し、世界のAI関連ニュースをキュレーションしています】

ワークワンダース社は、生成AIの活用・導入について客観的な立場からご相談に応じています。

生成AIに関するご相談はこちらからご連絡ください。 当社のご支援実績はこちらからご確認ください。