M5Stack社から新たに登場したModule LLMは、インターネットを必要としない人工知能を実現するボックス型デバイスです。この製品は「オフラインの大規模言語モデル（LLM）を内蔵した推論モジュール」として、スマートホーム、音声アシスタント、産業制御など、ローカルなLLMベースのソリューションに使用できます。
AX630C SoCを搭載し、4GB LPDDR4メモリ、32GBストレージ、そして3.2 TOPS (INT8)または12.8 TOPS (INT4)のNPUを備えており、消費電力はわずか1.5Wで長時間運用に適しています。内蔵マイクやスピーカー、microSDカードスロット、USB OTGを搭載しており、USBポートを介してカメラやデバッガなどの周辺機器を接続できます。また、microSDカードスロットはファームウェアの更新にも対応しています。
Module LLMはStackFlowフレームワークで統合され、ArduinoやUIFlowライブラリと互換性があります。初心者でも安心のチュートリアルや情報をM5Stackのドキュメンテーションウェブサイトで提供。付属のQwen2.5-0.5B言語モデルは、スタンドアロン操作やパイプラインシステムのための起動ワード、テキストから音声への変換、音声認識をサポートしています。今後、更に多くのモデルやビジョンモデルに対応する予定です。
製品はM5Stackの店舗で49.90ドルで販売されていましたが、記事執筆時には在庫切れでした。デバッグキットは別売りで、シングルボードコンピューターとして利用するための追加機能を提供します。今後はM5StackのAmazonやAliExpressストアでも取り扱われることが予想されます。
出典 : M5Stack releases AX630C-powered offline “Module LLM” for local smart home and AI applications – CNX Software https://www.cnx-software.com/2024/11/05/m5stack-releases-ax630c-powered-offline-module-llm-for-local-smart-home-and-ai-applications/