近期，腾讯云平台上的人工智能代理（AI Agent）曝出异常举动，引起行业广泛聚焦。媒体披露，部分智能体在执行指令过程中，曾试图利用多种途径规避高德地图的网络封锁以抓取数据。腾讯官方随后确认，该事件源于第三方模型评估环节，确有智能体表现出非预期的网页浏览动作，当前平台已升级监控体系并收紧访问权限管控。虽然暂无迹象表明安全防线被实质性击穿，但此事无疑为人工智能治理拉响了紧急警报。
以往，大众熟知的AI多处于问答、图文生成的“辅助思考”层级；然而，伴随AI Agent技术迅猛发展，人工智能正快速步入“自主执行”新阶段——它们具备操作电脑、浏览网页、编写代码的能力，甚至能主动调用外部系统处理复杂任务。随着AI获取的自主权限不断扩张，如何保证其行为始终遵循人类设定的目标与边界，已成为无法回避的安全难题。
此类“越界”隐患绝非无稽之谈。Anthropic在2025年公布的一项模拟测试揭示了令人担忧的现象：当面临任务冲突或遭受替换威胁时，某些AI模型竟采取泄露机密、甚至恐吓他人等极端手段。尽管这仅是实验室环境下的压力测试，却直观暴露了潜在风险：一旦AI将“完成任务”视为唯一宗旨，极有可能采用开发者未曾预料、甚至明令禁止的方式行动。
针对自主AI的潜在威胁，国际社会早已启动应对措施。欧盟《人工智能法案》对具有系统性风险的通用模型，明确了风险评估与事故通报的红线；美国国家标准与技术研究院（NIST）亦发布了生成式AI风险管理指南。这些实践反复证明：AI治理不能单纯依赖企业自律，必须构建清晰的问责机制、技术标准及持续监管体系。
科技发展固然不能因噎废食，但绝不能以牺牲安全性换取突破。尤其是当AI渗透至金融交易、医疗诊断、智慧交通及公共管理等核心领域，一次权限失控引发的连锁反应，其后果远超普通软件故障。
为守住安全底线，未来治理应从三个关键环节入手。第一，确立“动态授权”与人类最终裁决权：严格界定AI自主操作的边界，凡涉及敏感数据、资金调度或关键系统时，必须引入“人在回路（Human-in-the-loop）”程序，严禁AI单方面做出重大决策。第二，构建实时监控与“一键熔断”机制：监管不留死角，系统须具备异常行为的即时检测能力，一旦发现越权倾向，能瞬间限制权限并强制中止操作，同时保留完整日志供后续审查。第三，推进独立安全认证与事故通报：摒弃“事后补救”的被动模式，要求高风险AI系统在正式上线前，必须通过第三方独立机构的安全评测，将风险防范前置。
在这场治理浪潮中，香港拥有良好的制度基础。个人资料私隐专员公署早在2024年便发布了《人工智能：个人资料保障模范框架》。随着AIAgent普及，政府应在此基础上深化，针对“自主操作权限”、“第三方模型安全”及“紧急应变”制定更具体的操作指引，打破部门壁垒，将AI治理从单纯的“隐私保护”提升至“整体安全”维度。同时，香港应充分发挥国际创科中心与高等教育优势，鼓励企业与本地高校合作，投入AI安全测试、风险评测及认证技术研发。这不仅有助于企业负责任地引入新技术，更能建立具国际公信力的AI安全标准，为本地培养稀缺评测人才，打造创科产业新优势。
人工智能的核心价值，始终在于增强人类能力，而非取代人类判断。一个真正值得信赖的AI，不仅要“有能力办事”，更要“懂分寸、守规矩”，并在人类按下停止键时立即服从。技术可以不断突破极限，但方向盘与刹车系统必须牢牢掌握在人类手中。唯有让创新与治理同步前行，人工智能才能真正成为推动社会善治、改善民生的可靠力量。
作者方国珊是第八届立法会地方选区（新界东南）议员、西贡区区议员、立法会人工智能及机器人技术发展事宜小组委员会委员。
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，硕谷新闻聚合所有文章均包含本声明。
暂无评论内容