Appleが新たなAIシステム「Ferret-UI」を発表しました。この技術はスマートフォンアプリのユーザーインターフェイス（UI）を理解できるよう設計されており、SiriがiPhoneアプリの操作を学ぶことでさらに進化する未来が開けるかもしれません。
Ferret-UIは、スマホ画面特有の縦長の画像や小さいアイコン、テキストを的確に識別できる技術「any resolution」を採用。多種多様なトレーニングデータを基に、アイコン認識やテキスト検索などの基本的なUIタスクをこなす訓練が施されています。
論文では、既存のUI対応AIよりも優れた性能を有していることが報告されており、より高度なUI理解やインタラクションに対応可能です。この技術が実用化されれば、スマートフォンの画面を見ることが困難な人もAIが内容を伝え、アプリ開発者はより使いやすいUI設計が可能に。また、Siriと組み合わされることで、アプリを駆使したタスクの自動化も期待されます。
出典 : https://article.auone.jp/detail/1/3/7/48_7_r_20240410_1712721722689473