人工知能(AI)技術の進化により、高性能計算プラットフォームだけでなく、手軽な方法でAIアプリケーションを実行できるようになりました。
特に、オープンソース化された訓練済みモデルを利用することで、多くの新しい可能性が誰にでも開かれています。この流れを受けて、llamafileやllama.cppプロジェクトなどでは、AIツールの使用を簡素化する試みが進められています。
その一例として、Binh Phamという人物がYouTubeチャンネル「Build With Binh」で、USBスティックの中に大規模言語モデル(LLM)を格納し、簡単にAIと対話できるデバイスを紹介しました。
本体は3Dプリントで作られたやや大きめのUSBスティック内に、Raspberry Pi Zeroシングルボードコンピュータとホストコンピュータとの接続用USBポートを備えています。このデバイスでは、ユーザーは、テキストファイルを作成することでLLMにアクセスし、ストーリー生成などを行うことができます。
ただし、性能面ではまだ課題が残っています。
用意された小型のモデルは200ミリ秒で処理を行えますが、サイズが大きくなると処理時間は長くなりますし、実用に耐える性能ではありません。将来のハードウェアの進化に期待しつつ、もしRaspberry Pi Zero 2の使用が可能になれば、性能は向上し、より実用的なモデルの利用が現実的になるかもしれません。
時代とともに進化するハードウェアとインターフェースによって、身近なAI体験はさらなる飛躍を遂げるでしょう。
出典 : An LLM on a Stick https://www.hackster.io/news/an-llm-on-a-stick-470840d7e4be
