AMDは、1億パラメーターを持つ全面的オープンソースの大規模言語モデル「AMD OLMo」を発表しました。このモデルは、様々なアプリケーション向けに前処理され、AMDのInstinct MI250 GPUでトレーニングされています。AMD OLMoは、優れた推論能力、指示に従う能力、そしてチャット能力を提供するとされています。
AMDのこのオープンソース化は、AI分野での同社の位置づけを強化し、クライアントだけでなく、 AMDのハードウェアと共にこれらのモデルを展開するすべての人々を支援する目的があります。データ、ウェイト、トレーニングレシピ、コードのオープンソース化により、開発者はモデルを再現するだけでなく、さらなる革新に向けてそれらを構築することができます。データセンターでの使用の他に、AMDは、AMD Ryzen AI PC上のニューラルプロセッシングユニット（NPU）を搭載することで、個人のデバイス上でOLMoモデルをローカルに展開可能にしました。
AMDは、1.3兆トークンの大規模なデータセット上で、それぞれに4つのAMD Instinct MI250 GPUを搭載した16ノード（合計で64のプロセッサ）を用いてOLMoモデルをトレーニングしました。AMDオリジナルのテストによると、AMD OLMoモデルは、一般的な推論能力とマルチタスク理解の標準ベンチマークで、他の同規模のオープンソースモデルと比較して印象的なパフォーマンスを示しました。さらに、AI倫理や責任あるタスクを含むベンチマークで、AMDモデルは、同様のモデルに匹敵する結果を持っていることがわかりました。
出典 : AMD unveils AMD OLMo, its first 1B-parameter LLM with strong reasoning https://www.tomshardware.com/tech-industry/artificial-intelligence/amd-unveils-amd-olmo-its-first-1b-parameter-llm-with-strong-reasoning
