AIの開発において中核を担う大規模言語モデル（LLM）のトレーニングが新たな段階へ進みました。これまで一般的にPythonやPyTorchを駆使して行われていたトレーニングのプロセスが、C言語オンリーで可能になる画期的なツール「llm.c」がリリースされたのです。
このツールはAIディレクターを歴任したAndrej Karpathy氏によって開発され、約1000行のシンプルなコードでGPT-2のトレーニングがCPU上で実現可能というから驚きです。llm.cでは、従来不可欠だった大容量のライブラリを不要とし、安定したメモリ配分のもとでのトレーニングを実現しています。
現在はCPU対応コードのみが公開されていますが、CUDA対応のコードも開発中で、今後はより効率的なトレーニングが期待されています。GitHubには実際のコードが公開されており、プログラミングに興味のある方は是非チェックしてみてください。
出典 : https://article.auone.jp/detail/1/3/7/48_7_r_20240411_1712844172290169