私たちの会社では、独自の大規模言語モデルを訓練しています。三つの理由があります。一つ目は、会社固有の情報を反映させるため、
二つ目は、特定のタスクにモデルを微調整するため、そして三つ目は、データのプライバシーを守るためにOpenAIのAPIを使用したくないからです。
社内の従業員がこのモデルと対話できるよう、ウェブチャットのUIを速やかに構築するためのフレームワークを探しています。簡単に構築でき、短期間で配備できること、独自の推論APIに接続できること、そして利用者が毎回ログインしなくても良いようにOAuthやSSOの統合があることが重要です。
調査の結果、５つの有望な選択肢を見つけました。それぞれにメリットとデメリットがあります。「OpenChat」はユーザーフレンドリーですがOpenAI APIを使用しなければならず、独自のAPIに対応していません。「FastChat」はチャットUIだけではなくモデルトレーニングや独自APIの構築に対応していますが、OAuth/SSOには対応しておらず、私の場合には過剰な機能を有しています。
最終的に、独自のニーズに合った最適なツールを見つける旅は続いています。
出典 : https://medium.com/@leblon/what-llm-chat-ui-library-should-i-use-e10bdd442a6f