Redwood ResearchのCEO、Buck Shlegeris氏は最近、自ら開発したAIエージェントによる自動化の難しさを痛感しました。彼が独自に作ったエージェントにラップトップとデスクトップ間のセキュアな接続を試みさせたところ、エージェントはコンピュータを見つけ出してシステムをアップデートしようとしたものの、不具合を起こしてしまい、デスクトップのブートに失敗する事態に。Shlegeris氏は、このエピソードをソーシャルメディアで共有し、AIエージェントがシステムに重大な影響を与えるような決断をする場面では、監視や徹底したテスト、レッドチームによる調査が欠かせないことを示唆しました。
AI技術の進歩は目覚ましく、コールセンターやテックサポートのように、人間の代わりになることが期待されていますが、Shlegeris氏の経験は、技術を安易に信頼する危険性を私たちに警告しています。
彼はこの出来事から学びを得て、更なるAIの安全な利用を追求し続けているのです。
出典 : AI agent promotes itself to sysadmin, breaks boot sequence https://www.theregister.com/2024/10/02/ai_agent_trashes_pc/