私たちが機械学習モデルを用いたアプリケーションを開発する際、プロンプトエンジニアリングの指南は豊富に見られますが、温度設定に関する情報は少ないです。温度とはモデルが出力する文章のランダム性を制御する数値で、その設定が最終的なアプリケーションのクオリティに大きく影響します。
本記事では、LLMにおける「温度」とは何か、その背後にある数学、製品への影響、適切な温度の選び方や評価方法について探求しています。エンジニアたちは、通常は入力に対して想定される出力が得られるかをテストしますが、LLMの出力は非決定的であるため、評価が複雑になります。
しかし、正しい温度を見つけることができれば、モデルの振る舞いを調整し、より良いアプリケーションを開発することが可能です。温度設定はシンプルながらも、アプリケーションの挙動を変える重要な要素。開発者ならぜひ意識して、最適な温度を見つけ出しましょう。
出典 : A Comprehensive Guide to LLM Temperature ????????️ https://medium.com/@kelseyywang/a-comprehensive-guide-to-llm-temperature-%EF%B8%8F-363a40bbc91f
