スタンフォード大学とワシントン大学のAI研究者が、わずか6ドルで高性能な大規模言語モデル(LLM)の追加学習が実現できることを発見しました。
新たに開発された「s1-32B」は、問題の難易度や多様性、品質に基づく1000の質問と回答のペアを用いてトレーニングされ、これにより数学を含む様々な分野で大きな性能向上が確認されています。
また、AIに長時間思考させることで正答率が向上することも明らかになりました。
この研究は、減らされたデータセットがAIの処理能力を高めることを示しており、教育にも応用できるかもしれません。
出典 : 1000円あればOpenAIレベルのAIが作れる DeepSeekで注目の「蒸留」とは (2/4) https://ascii.jp/elem/000/004/250/4250447/2/
