次世代の言語モデル技術「picoLLM」とは? ラズベリーパイでも高性能に動作

2024.05.30

WorkWonders

Picovoiceが開発した「picoLLM Inference Engine」は、LLM(Large Language Models)を効率的に動作させるための技術です。Linux、macOS、Windows、さらにRaspberry Pi OSや様々なブラウザでも動作する設計になっており、低消費電力のデバイスでも高いパフォーマンスを実現します。

PicovoiceのCEOであるアリレザ・ケナーサリは、この技術が企業に対するコントロールを強化すると述べています。picoLLMは特にメモリ使用量や帯域幅が制限された環境において、他の技術よりも精度が高く、特に2ビット設定時にその優位性が顕著です。

GitHubでは、様々なプログラミング言語やプラットフォーム向けのデモとSDKが公開されています。オープンモデルでは無料で利用可能ですが、サーバーへの接続によるアクセスキーの検証が必須です。一度アクセスキーを検証すれば、以後の処理はオフラインかつデバイス上で完結します。

この技術は、Raspberry PiやArduinoなどの低性能ハードウェアでも容易に音声検出や音声認識機能を利用できるようにするもので、Pythonで書かれた音声アシスタントとしても活用できます。興味を持った方はGitHubでデモを再現してみてください。

出典 : https://www.cnx-software.com/2024/05/29/picollm-is-a-cross-platform-on-device-llm-inference-engine/

【このニュース記事は生成AIを利用し、世界のAI関連ニュースをキュレーションしています】

【お知らせ】
弊社ワークワンダース社主催ウェビナーのご案内です。


<2025年1月21日実施セミナー>

生産性を爆上げする、「生成AI導入」と「AI人材育成」のコツ


【内容】
1. 生産性を爆上げするAI活用術(安達裕哉:ワークワンダース株式会社 代表取締役CEO)
2. 成功事例の紹介:他業種からAI人材への転身(梅田悟司:ワークワンダース株式会社CPO)
3. 生成AI導入推進・人材育成プログラム「Q&Ai」の全貌(元田宇亮:生成AI研修プログラム「Q&Ai」事業責任者)
4. 質疑応答



日時:
2025/1/21(火) 16:00-17:30

参加費:無料  
Zoomビデオ会議(ログイン不要)を介してストリーミング配信となります。



お申込み・詳細 こちらウェビナーお申込みページをご覧ください

(2024/12/11更新)