超越模型:在智能体 AI 时代,保障从智能到行动的全过程安全

当人工智能从单纯输出文本转向具备自主执行能力时,防御体系便不能仅局限于模型内部,而必须延伸至将智能决策转化为实际动作的全链路系统

在生成式人工智能(AI)蓬勃发展的阶段,业界对安全性的探讨往往集中在模型加固、提示词过滤以及数据保护层面。然而,进入智能体 AI 时代后,安全议题迎来了全新维度的挑战:现在的 AI 已能独立调用工具、接入各类系统、编写代码,并以极快的机器速度完成操作。以机票预订为例,传统生成式 AI 或许仅提供建议供用户参考,但智能体系统却能自动查询票价、调取存储的支付凭证,并代替用户直接完成下单流程。

尽管智能体时代的安全基石依旧稳固——涵盖身份认证、最小权限原则、隔离机制、可信执行环境、内存防护、监控体系及韧性架构设计等核心要素——但其运作模式已发生根本性转变。鉴于智能体具备自主行动力、动态选择策略的能力,且横跨软件、基础设施、边缘终端乃至物理系统进行交互,它们亟需清晰且可强制执行的边界来界定访问范围与行动权限。单纯保护模型已显得捉襟见肘,安全防线必须贯穿从“智能思考”到“实际行动”的全过程。

这一变革也是推动智能体 AI 规模化落地的关键所在。企业组织需要确信,自主系统始终在预设范围内运行,其行为轨迹可被追踪与归因,且在异常发生时能得到有效遏制。虽然安全性本身并不等同于信任,信任最终取决于用户体验、应用场景及风险等级,但安全能提供可验证的边界、问责机制与系统韧性,这恰恰是构建信任的根基。

超越模型:在智能体 AI 时代,保障从智能到行动的全过程安全

Arm 公司执行副总裁兼首席商务官 Will Abbey 深入剖析了行业向智能体 AI 转型的趋势,并探讨了这一变化对云计算、边缘计算及物理世界应用产生的深远影响

智能体 AI 呼唤全栈式安全防护体系

没有任何单一技术能够独自守护从推理到执行的全部路径。智能体时代的安全需求涉及多种互补的控制手段,复盖智能体运行时、软件栈、主机计算平台、底层基础设施,直至最终落实决策的设备与系统。

系统必须具备识别操作主体的能力,依据用户授权开展活动,并确保其仅执行被允许的操作。当智能体动态制定行动计划时,相关策略必须得到持续有效的执行。此外,操作过程需具备高度可观测性,以确保自主行为的责任可追溯。面对异常情况,系统还需配备相应机制,及时遏制意外或未经授权的举动。

这些要求背后的基础架构逻辑十分清晰:负责做出决策的组件,不应同时拥有批准该决策是否合法的独占权限。模型提出行动方案,由系统进行授权审批,并确保各项约束条件得以严格执行。

为了将此原则落地,需在智能与行动之间的多个环节部署安全防护措施:

· 构建可信执行环境;

· 保障从决策到执行的路径安全;

· 通过独立机制判定某项操作是否获准执行;

· 保护最终执行操作的设备或系统。

Arm 在安全计算领域数十年的深厚积累在此刻显得尤为关键。Arm 提供了涵盖信任根(RoT)、安全启动、度量启动、远程认证、隔离机制及内存安全的基础架构,并配套提供参考软件、应用程序编程接口(API)及生态支持,助力开发者便捷地调用上述各项能力。

这些技术手段从系统不同层面应对智能体 AI 面临的安全难题。安全启动和远程认证有助于验证工作负载及安全控制机制是否在预期环境中运行。然而,环境验证仅是挑战的一部分,攻击者仍可能利用智能体运行时、工具宿主或策略执行软件中的漏洞,绕过安全控制或触发未授权操作。Arm 内存标记扩展(MTE)等内存安全技术,以及其他架构级防御机制,能够有效降低此类风险,使推理与执行之间软件链路中存在的某些内存安全漏洞更难被利用。

超越模型:在智能体 AI 时代,保障从智能到行动的全过程安全

深入解析 Arm 内存标记扩展技术

随着智能体获得对私有上下文、记忆及状态的持续访问权限,安全机制还必须负责管控敏感数据的释放条件。在对信任度要求较高的工作流程中,远程证明机制可先验证执行环境的可信性,随后才向智能体开放受保护的上下文数据。

为智能体实施独立的安全管控

基础设施安全构成了智能体时代的另一重要维度。随着智能体能力增强并具备持续运行特性,基础设施不仅需要计算资源来执行智能体工作负载,还需要独立的计算资源对其进行观测、管控与约束。

CPU 与 DPU 协同架构正是这一原则的典型体现,两者均基于 Arm 提供统一的计算底座。CPU 负责运行智能体运行时、执行框架、编排系统、工具调用及应用程序;DPU 则为网络、监测、隔离及安全服务等基础设施功能提供独立的运行环境。

超越模型:在智能体 AI 时代,保障从智能到行动的全过程安全

Arm CPU 托管并运行智能体工作负载,而基于 Arm 架构的 DPU 则独立地对其进行观测、管控、隔离和保护

这进一步印证了一项核心原则:当安全管控机制与被监管进程相互隔离时,管控效力将显著增强。NVIDIA 最新发布的 NVIDIA 开放智能体安全平台(NVIDIA Open Agent Safety Platform)展示了这一架构模式如何应用于智能体基础设施场景。

安全防护须随行动范围同步延伸

随着智能体工作流逐渐从数据中心延伸至 PC、智能手机、边缘设备及物理 AI 系统,安全挑战的范围也随之扩大。未来,一个智能体可能在云端利用模型完成推理,在边缘设备上处理私有上下文数据,最终通过机器人或工业设备执行实际操作。

因此,安全能力需要在两个维度上持续扩展:

  1. 贯穿每个系统内部的完整计算栈;

  1. 复盖智能体所接触的每一个计算环境。

所有计算环境都遵循同一核心原则:智能体仅可访问已授权的资源、执行获准的操作。然而,相较于云和数据中心,边缘和物理 AI 系统面临着截然不同的挑战。

超越模型:在智能体 AI 时代,保障从智能到行动的全过程安全

跨边缘、云和物理环境的智能体工作流

消费类设备、摄像头、机器人、汽车及工业设备,无法像云端虚拟资源那样轻松实现隔离。当智能决策越来越多地转化为现实世界中的物理行动,安全机制必须贯穿软件、通信链路以及最终执行操作的设备。这对设备身份标识、通信认证、权限管理、设备侧策略执行及可审计性提出了更高要求。Arm Device Connect 为 AI 智能体与各类异构设备之间的发现与交互提供了统一方式,助力构建支持身份认证、权限管理和治理机制的连接层。

当智能体频繁接入物理设备与各类系统时,其安全框架必须同现行的设备防护及功能安全标准实现无缝对接。身份识别、认证流程以及权限授予体系需向终端设备延伸,并与设备层面的约束规则、运行边界条件、故障保护逻辑,还有确保物理环境稳定运行的既有安全机制形成联动。信息安全模块负责判定操作指令是否具备合法授权,而功能安全模块则审核该指令能否在预设的安全阈值内执行。一旦智能体 AI 深入物理世界,这两类机制务必协同生效。

基于智能构建安全防护网

从生成式 AI 演进至智能体 AI,彻底颠复了人工智能安全领域的一个核心前提。以往,模型仅产出内容,行动决策权保留在人类手中;现在,智能体 AI 系统已具备自主发起动作的能力。因此,防御策略不能局限于保护模型和数据本身,必须复盖从推理推导到实际执行的完整链路。

这一变化催生出一种新型 AI 架构范式:由模型规划待执行的动作,再交由独立子系统裁定该动作是否获准放行。无论是信任根植入、远程认证实施,还是内存安全保障、独立基础设施管控及设备身份核验,随着智能体 AI 的部署范围从云端拓展至边缘节点和物理实体,每一层技术都在加固这种权责分离的结构。

Arm 通过提供统一的底层架构与安全技术方案,协助在整个系统层级确立上述边界限制。伴随智能体 AI 的自主决策与执行能力日益增强,相应的安全保护措施也在同步扩容并发挥实效。

– 结束 –


© 版权声明
THE END
欢迎随手分享,喜欢就支持一下吧
点赞12 分享
评论 抢沙发

    暂无评论内容