オープンソースライブラリ「continuous-eval」を使用してチャットボットがユーザーからのフィードバックを模擬的に受け取り、
性能を向上させる方法を紹介します。ユーザーは、チャットボットの回答に対して肯定的または否定的な評価を指示し、
これがシステムの調整ニーズを示しています。例えば、正確性の指標などを用いることで、
ユーザーが何を重要と感じているかをシステムが学習します。シミュレーションによるフィードバック予測器は、
実際のユーザーの反応を96.67%の精度で予測することができ、実践的な進歩を実現しています。
さらに、これにより開発者はより迅速にユーザーの意見を取り入れ、より良いユーザー体験を提供することが可能になります。
近日中にこの方法に関する研究論文が発表予定なので、詳しくはそちらをご覧ください。
出典 : https://towardsdatascience.com/how-to-make-the-most-out-of-llm-production-data-simulated-user-feedback-843c444febc7