テキストデータの自動分類は、機械学習やAIの分野で重要な進展を遂げています。しかし、その評価方法にはまだ解決すべき課題が多く残されています。この記事では、人間とAIのアノテーションの信頼性を基にし、言語モデルを用いたテキスト分類の精度を高めるための新しい評価手法を提案。
まず、複数の人間アノテーターによるラベル付けの信頼性から検証を開始し、意見が分かれた場合は投票や議論を通じて一致したラベルを決定します。次に、この人間による合意ラベルと大規模言語モデルのアノテーションの一致度を測定し、AIの信頼性を評価。
さらに、小さなコーパスを用いた多クラス・多ラベル分類の従来の評価指標を計算し、人間のアノテーションを基準にしてモデルの結果を検証します。そして、より大きなコーパスにAIを適用し、その結果から同じ評価指標を導き出します。
最終的に推奨されるのは、人間の評価とAIベースの指標を組み合わせた総合的な評価方法です。これにより、評価方法の偏りや、タスクの複雑さに影響される可能性があるバイアスを特定・緩和し、広範なコーパスに対するより信頼性の高い評価が可能になります。高校生でも理解できるように、AIの評価の精度を高め、大規模なデータセットに対して信頼性のある分析を実現する方法をこの記事で説明しています。
出典 : Evaluating TnT-LLM Text Classification: Human Agreement and Scalable LLM Metrics | HackerNoon https://hackernoon.com/evaluating-tnt-llm-text-classification-human-agreement-and-scalable-llm-metrics
