つい先月、革新的なNPUを備えたLLM、”DeepSeek R1″の新モデルが発表され、さらに1ヶ月後、さらに強力な7Bと14Bの蒸留モデルが加わりました。
以前のモデルは1.5Bパラメータを持ち、日本語の理解に苦労していましたが、新しいモデルのパフォーマンスはどうなのでしょうか。
“Visual Studio Code”を使用し、ローカル環境でNPUを駆使したAIモデルを動かす方法が紹介されています。
実際に最新モデル”DeepSeek R1 Distilled”を試したところ、日本語での応答には課題があるものの、その生成速度や、少しではありますが改善傾向が見られました。
しかし、メモリ使用量が増加する一方でNPUの効率的な活用が求められており、その勢いをこれからも見守りたいところです。
出典 : NPU対応LLM「DeepSeek R1」の7B/14Bが追加されたので試してみた／7B/14Bなら日本語も饒舌に話してくれるのか？【使ってわかるCopilot+ PC】 https://forest.watch.impress.co.jp/docs/serial/usecopilotpc/1668263.html
