あなたが昨今のオープンソースのLLM（大規模言語モデル）に興味を持っているなら、モデル導入において最も重要なGPUメモリーの計画について知る必要があります。
GPUメモリーの見積もりを誤ると、ウェブアプリケーションが動作を停止したり、遅くなったり、無駄なクラウド費用がかかることになります。
そうならないように、私は「量子化」とは何かを説明し、2024年版のオープンソースLLMのためのGPUメモリープランニングチートシートを用意しました。
これは市場に出回っている最新のLLMを概観するとともに、導入前に知っておくべき情報を簡潔にまとめたものです。
GPUメモリの見積もりはリスクが伴います。
少なすぎるとモデルがクラッシュし、多すぎると無駄にお金を消費してしまいます。
これからLLMを導入しようと考えている方は、是非読んでみてください。
出典 : From Local to Cloud: Estimating GPU Resources for Open-Source LLMs https://towardsdatascience.com/from-local-to-cloud-estimating-gpu-resources-for-open-source-llms-b4a015a0174f