著名な研究者アンドレイ・カーパシー氏は、GPT-2のトレーニングが現在、わずか1台の8XH100 GPUノードで24時間以内に、たった672ドルで可能になったことを明かしました。教育目的での再現から始まったカーパシー氏の取り組みは、PyTorchへの挑戦、C/CUDAでのトレーニングプロセスの独自開発を経て、llm.cプロジェクトとして成果を上げました。
次に、人工知能をより身近なものにするためには、大規模言語モデル（LLM）のコストを下げることが重要だと語ります。Metaのエンジニアであるマヒマ・チャガニ氏は、提示されるプロンプトのサイズを効率的に小さくしつつも、情報を損なわない方法としてLLMLinguaを提案しています。
また、コスト削減と性能のバランスを取りながら98％のコストを削減し、GPT-4に匹敵する性能を維持するFrugalGPTなどの取り組みも紹介されています。
費用に対する能力の改善という観点からは、プリンストン大学のアーヴィンド・ナラヤナン教授は、コスト削減が研究の進歩を加速し、AIの利用可能性を広げるためにはより影響力があると指摘しています。将来的には個人のAIアシスタントがもっと身近になり、その価値と利用は想像以上に速く広がるかもしれません。
出典 : https://analyticsindiamag.com/ai-trends-future/time-to-scale-down-large-language-models/