LLMモデルとの対話をプログラムで実現する方法を解説します。まず、ローカルに設定したLLMシステムが動作していることを確認しましょう。例えば、LM Studioでローカルサーバーのアドレスや利用可能なエンドポイントを設定できます。
次に、Pythonスクリプトを使って、利用可能なモデルのリストを取得する方法や、特定のモデルに入力を送り、レスポンスを得る手順を紹介します。単発のレスポンスが必要な場合は’/v1/completions’エンドポイントを、会話形式の対話が必要な場合は’/v1/chat/completions’エンドポイントを使用します。
このガイドを参照することで、LLMモデルとの対話を容易に実装し、アプリケーションに組み込むことができます。ぜひ、これらのスクリプトを発展させて、自動化や他のツールとの連携など、複雑なアプリケーションにも挑戦してみてください。そして、この記事がお役に立ったら、LinkedInでのフォローやコネクションも歓迎します。データとの新たな冒険を、楽しんでください！
出典 : How to Get Responses From Local LLM Models With Python | HackerNoon https://hackernoon.com/how-to-get-responses-from-local-llm-models-with-python
