韓国の電子通信研究院（ETRI）が開発した、ロボットのAIタスク計画を自動評価する画期的な技術「LoTa-Bench」が話題になっています。このシステムは、ロボットが出された指示を理解し、適切な手順で作業を実行できるかを評価するものです。
ETRIの研究チームは、大規模言語モデル（LLM）によって生成されるタスクプランを客観的かつ迅速に評価することができるようにしました。従来、ロボットの作業評価は手作業が中心でしたが、この技術は、評価の作業時間やコストを大幅に削減し、公平な結果をもたらします。
また、大きな言語モデルは優れた計画能力を持つことが示されており、OpenAIのGPT-3やGPT-4などの大きなモデルが高い成功率を示しています。今後、ETRIはさらにAIの進歩に努め、ロボットが不確かな状況でのタスク失敗を予測する技術や、人間から助けを求めてタスクを改善する知能を開発していく予定です。
この革新的な技術は、韓国科学ICT部と情報通信技術計画評価院（IITP）によるプロジェクトの一環として開発され、世界中の企業や教育機関が無償で利用できるようオープンソースとして公開されています。
出典 : ETRI Develops An Automated Benchmark for Language- | Newswise https://www.newswise.com/articles/etri-develops-an-automated-benchmark-for-labguage-based-task-planners