GitHubで公開!新時代の言語モデル構築チュートリアル

2024.03.18

WorkWonders

このGitHubリポジトリでは、C/C++で実装された大規模言語モデルのためのpythonバインディング、llama-cpp-pythonの使用法を紹介しています。オープンソースコミュニティに広く受け入れられているため、このチュートリアルでの使用を決定しました。

Nvidia RTX4090のGPUを搭載したシステムでアプリのテストを行っており、まずは新しいconda環境を作成することから始めます。llama-cpp-pythonのインストールには、効率的な推論を実現するため、ハードウェアアクセラレーションのバックエンドを支援するllama.cppが利用されています。

GPUを活用し、LLMをGPUで動かすためには、CUBLASでプログラムをビルドする必要があります。GPUでモデルをオフロードする上でいくつか問題に直面した経験を踏まえ、正しくインストールする方法をこの投稿で発見することができました。

出典 : https://towardsdatascience.com/building-your-own-personal-ai-assistant-a-step-by-step-guide-to-text-and-voice-interaction-with-a-07389c5fd874

【このニュース記事は生成AIを利用し、世界のAI関連ニュースをキュレーションしています】

ワークワンダース社は、生成AIの活用・導入について客観的な立場からご相談に応じています。

生成AIに関するご相談はこちらからご連絡ください。 当社のご支援実績はこちらからご確認ください。