小規模なAIモデルの特化能力と、大規模モデルとの違いを例え話で紹介します。
小児科専門の医師と一般的な名医、どちらが赤ちゃんの咳をより適切に治療できるでしょうか？
小児科医は赤ちゃんの症状をより正確に診断できる専門家ですよね。これはまさに、大規模モデルと小規模モデルが特定の課題に取り組む際の違いを示しています。
小規模モデルは、細かい問題解決に特化することで、大きなモデルよりも効率的に作業できるのです。
この話は、クエリルーティングボットを作成する際に直面した選択に基づいています。
大規模モデルのGPT-4oは非常に優秀ですが、その利用は固定的で高価です。しかも、自社での微調整はできません。
OpenAIではプラットフォーム上での微調整を提供していますが、コストがかかりすぎるんです。
出典 : I Fine-Tuned the Tiny Llama 3.2 1B to Replace GPT-4o https://medium.com/towards-data-science/i-fine-tuned-the-tiny-llama-3-2-1b-to-replace-gpt-4o-7ce1e5619f3d