最先端のAIモデル「DeciLM-7B」と「Mistral-7B-v0.1」を、従来のベンチマークを超えた新しい方法で比べる試みについて紹介します。
「Instruction-Following Evaluation for Large Language Models」（大規模言語モデルの命令遵守評価）という新しい評価手法・IFEvalが、これらのAIの指示に対する従順さを測定します。
この手法は、指示が明確で、客観的かつ簡潔に検証できるものに焦点を当て、モデルの性能を自動的に精密に評価します。
さらに、文章生成における異なる戦略の影響を検証するため、適切な実験セットアップが提案されています。
この実験は、具体的なシナリオに即したモデルの能力を評価することを目的としており、より実践的な理解を促進します。
生成時間の観点からも、DeciLMがMistralを上回る能力を有していることがわかります。
このブログは、大規模言語モデルの性能分析に新たな視角を提供すると同時に、DeciLMの予想外の優秀さを示しています。
読者には、筆者の結果を自身で検証すること、さらに知識を深めるためにコミュニティに参加することが推奨されています。
出典 : https://medium.com/artificialis/how-to-evaluate-an-llms-ability-to-follow-instructions-9c6ac57a8e22