Appleが新たなAIモデル「OpenELM」をリリースしました。このモデルは、従来の公開データセットでトレーニングされた他の言語モデルを凌駕する性能を発揮します。OpenELMは特に、パフォーマンスの向上を実現しながらも、過去のモデルよりも少ないトークンで事前学習が可能です。
Appleは、モデルだけでなくトレーニングと評価のフレームワークを公開することで「オープンさ」をアピールしています。ただし、同社は公開ソフトウェアのライセンスを認定はしておらず、派生作品がAppleの権利を侵害したとみなされた場合、特許請求の権利を予約していることを明確にしています。
OpenELMは、トランスフォーマーモデルでパラメータをより効率的に割り当てる「レイヤーワイズスケーリング」という技術を利用し、ベンチマークテストでのモデルの正確な予測率を向上させています。モデルは、プロンプトに基づいて回答や自動補完を試みるもので、Appleデバイス上での推論とファインチューニングＭＬＸライブラリへのモデル変換コードも添付されています。
AquantのCEOであるShahar Chenは、OpenELMリリースがAIコミュニティにとって効率的なオンデバイスAI処理という大きな進歩をもたらすものだと語っています。これにより、スマートフォンからスマートホームデバイスまで、日常技術にAIを取り入れる可能性が広がります。
しかし、精度は高いものの、パフォーマンスではやや劣るという問題が報告されています。Appleは、将来的な最適化を検討するとしています。このモデルは様々なパラメータ数でプレトレーニングされたバージョンが利用可能で、研究コミュニティへの貢献を目的に公開されていながらも、安全性の面では保証がないとしています。
出典 : https://www.theregister.com/2024/04/24/apple_openelm_ai/
