ONNXは、機械学習のスタックの中で、Stable Diffusionの推論を速める効果的な方法です。
A100 GPUを使用すると、1024×1024のイメージを生成するための30回のデノイジングステップがたった2秒で完了します。しかし、ONNXの実行には多くの依存関係があり、適切なバージョンのソフトウェアをインストールすることは複雑です。
この要約は、ONNXを使ったStable Diffusionの設定と実行のためのハイレベルなデバッグガイドです。Python実装を中心に、CUDA互換性やOS、Python、pipのバージョンの整合性に関する一般的な問題に焦点を当てています。
公式のスクリプトや、MicrosoftやHugging Faceのライブラリを使用する2つの主要な方法で実行できますが、様々な互換性の問題により環境のセットアップには注意が必要です。
ONNXのランタイムへの投資は、大幅なレイテンシーの削減を約束してくれます。Pythonのプレーンな実行からONNXランタイムに切り替えることにより、推論時間をほぼ1/4に短縮することができるでしょう。
ですから、実験フェーズを終え、効率的な本番コードへの投資を準備する際は、ONNXランタイムや類似のコンパイル方法を検討する価値があります。
出典 : How to Run Stable Diffusion with ONNX https://medium.com/towards-data-science/how-to-run-stable-diffusion-with-onnx-dafd2d29cd14
