Picovoiceが開発した「picoLLM Inference Engine」は、LLM（Large Language Models）を効率的に動作させるための技術です。Linux、macOS、Windows、さらにRaspberry Pi OSや様々なブラウザでも動作する設計になっており、低消費電力のデバイスでも高いパフォーマンスを実現します。
PicovoiceのCEOであるアリレザ・ケナーサリは、この技術が企業に対するコントロールを強化すると述べています。picoLLMは特にメモリ使用量や帯域幅が制限された環境において、他の技術よりも精度が高く、特に2ビット設定時にその優位性が顕著です。
GitHubでは、様々なプログラミング言語やプラットフォーム向けのデモとSDKが公開されています。オープンモデルでは無料で利用可能ですが、サーバーへの接続によるアクセスキーの検証が必須です。一度アクセスキーを検証すれば、以後の処理はオフラインかつデバイス上で完結します。
この技術は、Raspberry PiやArduinoなどの低性能ハードウェアでも容易に音声検出や音声認識機能を利用できるようにするもので、Pythonで書かれた音声アシスタントとしても活用できます。興味を持った方はGitHubでデモを再現してみてください。
出典 : https://www.cnx-software.com/2024/05/29/picollm-is-a-cross-platform-on-device-llm-inference-engine/