Googleは2024年3月7日に、機械学習ライブラリ「MediaPipe」を使用し、端末内で大規模言語モデル（LLM）を動かせる新API「MediaPipe LLM Inference API」を公開したことを発表しました。
このAPIは、Web開発者がオンデバイスで直接LLMを扱えるよう設計されており、多くのプラットフォームで利用可能です。すでに「Gemma」「Phi2」などのオープンなLLMがサポートされていて、開発者や研究者は簡単に自分たちのプロジェクトで使用するためのテストが行えます。
これにより、今後LLMを使ったアプリケーションの開発が大きく進むことが期待されます。
出典 : https://atmarkit.itmedia.co.jp/ait/articles/2403/28/news087.html