最近のAI界隈で特に注目されているのは、巨大なパラメータを持つ言語モデルです。しかしBinhさんは、これらの大規模モデルとは一線を画したプロジェクトを進めました。彼は、USBスティックに搭載可能な軽量言語モデルを開発し、これがどんなコンピュータにもドライバ不要で使えるようにすることに挑戦したのです。
ラズベリーパイゼロWを用いて「llama.cpp」というLLaMAの軽量版を動かすことに成功しましたが、これは単なるメモリ付きジャンプドライブではありません。最新の「llama.cpp」がARMv8用なのに対し、過去のARMv6命令セットを使っているこの小さなコンピュータで動かすには、ソースコードの最適化部分を書き換える必要がありました。
時間をかけること一週間。彼はついに古いPi上でモデルを動かすことに成功し、非常にシンプルなプラグアンドプレイのUSBベースのLLMとして実現させました。esp32にLLMを詰め込んだ他のプロジェクトと並ぶ快挙ですが、BinhさんのこのUSBスティックは、その小ささと携帯性で新たな可能性を秘めています。
出典 : USB Stick Hides Large Language Model https://hackaday.com/2025/02/17/usb-stick-hides-large-language-model/
