AI開発の未来を切り拓くため、香港理工大学の新任教授であるYang氏が大型言語モデル（LLM）の開発手法を革命的に変えようとしています。
現在、LLMの開発では、NvidiaやAdvanced Micro Devicesの高価なグラフィックス処理ユニット（GPU）が使われがちですが、Yang氏はそれに代わる分散型の機械学習パラダイム、いわゆる「モデルオーバーモデルズ」アプローチを提案しています。これは、個別の分野で訓練された小規模なモデルを基盤モデルへと進化させるものです。
この方法は、より少ないGPUで13億のパラメーターを持つドメイン固有モデルの性能をOpenAIのGPT-4モデルと同等かそれ以上にすることができ、よりアクセスしやすい開発を大学の研究室や小規模企業にもたらす可能性があります。香港でのこのプロジェクトの成功は、技術革新のハブとしての地位を高めることにも繋がります。
さらに、Yang氏は多様な分野にわたる小規模モデルが将来的にも活躍するとしており、AIコミュニティの更なる発展には包括的なインフラの構築が必要だと強調しています。
彼女のチームはすでに、小規模なモデルを組み合わせることで特定の分野における最先端のLLMを上回ることが可能であることを実証しています。この研究は、来年にかけてのリリースに寄与するものと見られます。
出典 : Exclusive | Meet Yang Hongxia: the PolyU AI scientist who wants to change how LLMs are built https://www.scmp.com/tech/tech-trends/article/3274190/polyus-top-ai-scientist-yang-hongxia-seeks-revolutionise-llm-development-hong-kong