DSPyは、LLMベースのアプリを構築するための、Pytorchのようなフレームワークです。多様なモジュールを用いて、効率的にプログラムを組み上げることができます。Langfuseは、開発者がLLMアプリを構築・管理・最適化できるエンジニアリングプラットフォームで、特に自己ホスティングソリューションに焦点を当てています。
この自己ホスティングは、Dockerを利用した環境を簡単に設定することができ、DSPyのような人気のフレームワークとシームレスに統合されます。DSPyにLangfuseを組み込むことで、モデルの監視や最適化がリアルタイムで可能になります。
たとえば、最近実施されたLLMワークショップのGitHubリポジトリを対象にDSPyとLangfuseを適用し、質問応答（Q&A）ボットを作成すると、参加者がワークショップの内容に関する疑問に対し、効果的なアシスタンスを提供することができます。このような実例は、DSPyとLangfuseの強力さと、簡単に拡張可能な構造を示しています。
出典 : Supercharge Your LLM Apps using DSPy and Langfuse https://towardsdatascience.com/supercharge-your-llm-apps-using-dspy-and-langfuse-f83c02ba96a1