最先端の大規模言語モデル（LLM）であるDeciLM-7BとMistral-7B-v0.1が、指示にどれだけ従えるかを徹底比較しようと、ある研究者が試みに挑みました。
彼は「IFEval」という新しい評価方法を用いて、モデルが与えられた命令をどれだけ正確に守れるかを検証しています。
特に注目されるのは、異なるテキスト生成手法がモデルの性能にどう影響するかで、具体的な命令をクリアに実行できるかが重要なポイントとなります。
熱い競争の末、DeciLMの方が指示に従った実行が素早くできることが明らかになりました。
さらにDeciLMは、命令の厳密な遵守だけでなく、ニュアンスを理解する柔軟性においてもミストラルを上回る結果となりました。
この発見は、AI技術者や研究者にとって実用的な応用への道標を示すものでしょう。
読者も自らこの実験に挑戦し、独自の結果を検証することが encouraged されています。
出典 : How to Evaluate an LLM’s Ability to Follow Instructions https://datascienceharp.medium.com/how-to-evaluate-an-llms-ability-to-follow-instructions-9c6ac57a8e22
