Intelのエンジニアが開発したOpenVINO 2024.1が登場しました。この最新リリースは、特に生成型AIや大規模言語モデルの機能と性能を大幅に拡張します。
OpenVINO 2024.1は、Intel Xeon CPU向けに最適化されたMixtralやURLNetモデルを追加し、Stable Diffusion 1.5やChatGLM3-6B、Qwen-7Bモデルでは、Arc Graphicsを搭載したIntel Core Ultra（Meteor Lake）での高速化を実現しています。
さらに、IntelのAdvanced Matrix Extensions（AMX）をサポートするプロセッサのために、大規模言語モデルのコンパイル時間の短縮が図られており、Intel Arc Graphics GPUsでのLLMの圧縮とINT4/INT8による性能向上が図られています。
また、Intel Core Ultraプロセッサでは、小型のGenAIモデルのメモリ削減も実現しました。
OpenVINO 2024.1はGitHubからダウンロード可能で、AI技術の更なる発展に向けた期待が高まっています。
出典 : https://www.phoronix.com/news/Intel-OpenVINO-2024.1-Released