今日の大規模言語モデル（LLM）は、幅広い分野にわたる専門家チームのようなものです。ただし、彼らの回答が常に正しいわけではありません。そして、間違った情報でも自信を持って話すことがあります。
この問題に対処するため、以前からアルゴリズムは予測の信頼性を測定するためのキャリブレーションプロセスを経てきましたが、多岐にわたるタスクを扱えるLLMに対しては、広大で多様なラベル付けされたデータセットを集めることは非現実的です。
MITとMIT-IBM Watson AI Labの共同研究によって、ラベル付きデータが少なくて済む新しい技術「Thermometer」が開発されました。Thermometerは、主モデルを変更せずに、追加モデルを用いてLLMの応答に対する信頼度を評価します。
実験により、この方法は効率的であり、LLMのパフォーマンスを低下させずに済むことが示されました。ただし、まだ完璧ではありませんが、研究チームはこの技術が新しいタスクにも対応できるよう、必要なデータの量や多様性を更に研究しています。
今後、AIの信頼性を高める研究は続き、その進展に期待が集まっています。
出典 : A Hot Take on LLM Trustworthiness https://www.hackster.io/news/a-hot-take-on-llm-trustworthiness-794f9d29ede9