データ利用におけるAIの精度は、そのトレーニングに使われるデータに大きく依存しています。従来、機械学習やAIの世界では、ラベル付きデータが不可欠でしたが、これは多くの時間と労力を要求するものでした。
しかし、データブリックス社はこの問題に直面し、新たなアプローチ「TAO（Test-time Adaptive Optimization）」を開発しました。「TAO」とは、既存のデータを活用し、ラベルを必要とせずに高精度な企業向けAIモデルの調整を可能にする手法です。
この技術は、多様な応答を生成する「探索的応答生成」と、正確さを重視して生成された応答を評価する「エンタープライズ校正報酬モデリング」、強化学習を通じてモデルを最適化する「強化学習ベースのモデル最適化」、さらに、新たな入力を自動収集する「連続データフライホイール」という四つの機構を組み合わせています。
これにより、企業がAIを速やかに市場に投入することが可能になり、従来のラベル付きデータセットが必要な手法に比べて莫大な時間を節約できます。
現在「TAO」はデータブリックス社のプラットフォーム上でのみ利用可能で、まだプライベートプレビューの段階ですが、ラベル付きデータの準備に関連する障壁を取り除き、AI導入における新たな標準を打ち立てようとしています。
出典 : The TAO of data: How Databricks is optimizing AI LLM fine-tuning without data labels https://venturebeat.com/data-infrastructure/the-tao-of-data-how-databricks-is-optimizing-ai-llm-fine-tuning-without-data-labels/
