人工知能（AI）は自動運転車や自然言語処理（NLP）、株式市場の予測、小売りのパーソナライズサービスなど、広範囲にわたる応用が可能です。AI開発の目標は、人の反応や行動、意思決定を模倣することにあります。機械学習モデルは、人間らしい応答を実現するため、人間の入力をトレーニングデータとして取り入れます。
Reinforcement Learning from Human Feedback（RLHF）は、人間の反応を模倣させる特定の技術であり、監視学習や非監視学習といった他の技術と並んで使われています。RLHFでは人間がモデルの応答を評価し、より人間らしさを反映したスコアリングを行います。たとえば、テキストを翻訳する際、技術的には正しいものの、自然さに欠ける結果を出すこともありますが、プロの翻訳や追加のフィードバックループを通じてモデルはより自然な翻訳を行えるようになります。
また、MLモデルが正確であっても、それが人間らしくなければユーザー満足度を向上させることは難しく、RLHFを用いることで人間に好まれる最良の応答を導き出すことができます。これにより、モデルは実際の人々により良いサービスを提供することが可能になります。
出典 : What is RLHF? – Reinforcement Learning from Human Feedback Explained – AWS https://aws.amazon.com/what-is/reinforcement-learning-from-human-feedback/
