カリフォルニア大学バークレー校とNVIDIAの研究者が「FVEval」という技術論文を発表しました。この論文は、デジタルチップ設計のタスク自動化において、大規模言語モデル（LLM）の利用が注目されている現状を踏まえています。
特に、形式的検証（FV）と呼ばれるハードウェア実装の確認方法に言語モデルを適用する初期のアイデアが探求されています。FVは信頼性の高い保証を提供する一方で、多大な人間の労力を要求します。
そこで、FVEvalは、FVに関連するタスクのための最初の包括的ベンチマーク及び評価フレームワークを提示しており、SystemVerilogアサーション（SVA）の生成から、デザインRTLの推論、さらには追加的な人間の入力なしにアサーションを直接提案するまで、異なるレベルでLLMの能力を測定します。
提案された評価方法は、研究者によって書かれた検証資料や、産業的FVのワークフローに合わせて合成例を作成する手法をテストインスタンスとして用います。
最終的に、多種多様なLLMを評価し、デジタルFVの生産性向上に向けてLMMがどのように貢献するかを探求しています。論文全文はarXivで公開されており、興味深い内容となっています。
出典 : Benchmark and Evaluation Framework For Characterizing LLM Performance In Formal Verification (UC Berkeley, Nvidia) https://semiengineering.com/benchmark-and-evaluation-framework-for-characterizing-llm-performance-in-formal-verification-uc-berkeley-nvidia/
