来年にはApple Intelligenceの日本対応が予定されていますが、iPhone 16 Proで既にローカルに搭載されたLLM（大規模言語モデル）が３B（3ビリオンパラメーター）規模でスムーズに動作することがわかりました。
PocketPal AIというアプリを利用すれば、面倒な開発環境設定なしにLLMをiPhoneで活用可能です。特に、日本語に特化したgemma-2-baku-2bモデルは、2〜3GBと小さいながらも、非常に高い言語処理能力を発揮します。
わずか1年半前にはPCとGPUが必要だった日本語処理も、今では手のひらに収まるスマホで実現できるようになり、技術の進歩には目を見張るものがあります。
ただ、小規模モデルでは誤情報を提供することもありますが、その進化には驚きです。
出典 : 【西川和久の不定期コラム】 スマホでもローカルでLLMが動く時代！iPhone 16 Proで試してみた https://pc.watch.impress.co.jp/docs/column/nishikawa/1629215.html