在宾夕法尼亚工程学院的新负责任创新计划中,研究人员发现,某些由人工智能控制的机器人具有之前未被识别和未知的安全漏洞和弱点。该研究旨在解决新兴的安全隐患,以确保大型语言模型(LLM)在机器人技术中的安全部署。

"我们的研究显示,在目前这个时刻,当大型语言模型与物理世界集成时,它们的安全性还远远不够。"电气与系统工程学院(ESE)、计算机与信息科学学院(CIS)和机械工程与应用力学系(MEAM)的UPS基金会运输教授George Pappas说。

在新的论文中,同时也是宾夕法尼亚工程学院研究副院长的帕帕斯和他的合著者警告说,各种各样的人工智能控制的机器人可以被操纵或黑客攻击。

研究人员开发的RoboPAIR算法仅需几天时间就实现了100%的"越狱"率,绕过了三个不同机器人系统中的安全防护措施:Unitree Go2,一种用于各种应用的四足机器人;该Clearpath机器人Jackal,一种常用于学术研究的轮式车辆;以及海豚大语言模型,由NVIDIA设计的自动驾驶模拟器。例如,通过绕过安全护栏,可以操控自动驾驶系统在人行横道上超速行驶。

在公开发布该研究之前,宾夕法尼亚工程学院已将系统漏洞通知了相关公司,并与它们合作,利用该研究成果作为框架来推进这些制造商的AI安全协议的测试和验证。

这里需要强调的是,当你发现系统的弱点时,系统会变得更安全。这在网络安全领域是正确的,在人工智能安全性方面也是如此,亚历山大·罗比(Alexander Robey)说。他是宾夕法尼亚工程学院电气与系统工程系的最近博士毕业生,目前是卡内基梅隆大学的博士后学者,也是该论文的第一作者。

实际上,AI红队演练是一种安全实践,涉及测试AI系统以发现潜在威胁和漏洞,这对于保障生成式AI系统的安全性至关重要——因为一旦发现了弱点,就可以测试甚至训练这些系统来避免这些问题。

研究人员认为,要解决这个问题,所需要的不是软件补丁,而是一次对将人工智能整合到物理系统中的监管方式进行彻底重新评估。

• Penn engineering research discovers critical vulnerabilities in AI-enabled robots

• Penn engineering research discovers critical vulnerabilities in AI-enabled robots

"本文的研究结果清楚地表明,采取以安全为主导的方针对于推动负责任的创新至关重要,"宾夕法尼亚工程学院院长兼共同作者Vijay Kumar说道。

我们必须在部署具备人工智能能力的机器人进入现实世界之前解决内在的安全隐患。事实上,我们的研究正在开发一个验证和确认框架,以确保只有符合社会规范的行为才能也被认为是机器人系统应当采取的行为。

更多信息:破解受LLM控制的机器人,(2024)。