主题演讲主要内容:智驭安全,行稳致远——智能体风险洞察与安全实践探索
一、核心结论
智能体已由“用户提问—模型回答”的对话工具演化为可自主感知、规划、调用工具并操作外部系统的行动主体。风险因此从“说错话”的信息与内容风险,扩展为“做错事”的权限、执行、记忆、供应链和现实世界副作用风险。
演讲提出以 AIOS(AI Operating System,AI 操作系统) 为技术底座,构建内生安全的企业级智能体体系:
- 全生命周期治理:从开发态、运行态到运维态覆盖事前预防、事中管控、事后追溯;
- 分层内生安全:将安全能力嵌入智能体控制器、运行时、资源管理、工具/技能、记忆、模型与基础设施;
- 生态协同治理:政府指导、供应链与应用领域合作伙伴共建,统一标准、接入、审计、应急和运营机制;
- 安全与体验并重:通过白名单、动态策略、行为检测和 DevSecOps 门禁,在风险可控的同时尽可能保持用户无感体验。
二、背景:人工智能+推动智能体爆发式增长
演讲以国家“人工智能+”发展背景说明智能体应用扩张。页面引用 2025 年 8 月国务院《关于深入实施“人工智能+”行动的意见》,强调统筹发展与安全,推进重点领域融合、智能终端与智能体普及,并从模型、数据、算力、应用环境、开源生态、人才、政策法规和安全能力等方面建设支撑体系。
页面同时引用 IDC 报告式数据,称 2025 年全球活跃智能体约 2,860 万、2026 年预计约 7,940 万、2030 年约 22.16 亿。具体统计口径以原始 IDC 报告为准;演讲借其说明智能体规模快速扩张,安全治理必须同步建设。
三、从大模型应用到自主行动者:安全范式为何改变
1. 核心差异:自主行动能力
传统大模型应用的交互模式是:
用户提问 → 模型回答
其输出主要限于文本,风险集中在信息准确性、内容合规、输入过滤和输出审核。
智能体则具备自主规划、工具调用和多步执行能力,可直接操纵外部系统:
感知 → 规划 → 执行操作 → 改变环境 → 交付结果
因此,安全风险从信息层扩展到操作层,治理也必须从模型安全升级为覆盖全生命周期的智能体安全体系。
2. 攻击面扩展
智能体的攻击面不再局限于 Prompt 和模型输出,还包括:
- 记忆模块与上下文;
- 执行权限;
- API 调用链;
- 工具、技能和第三方插件;
- 多智能体通信与协同;
- 模型、数据及供应链。
四、智能体风险洞察
1. OWASP 风险从 LLM 应用延伸到 Agent 系统
页面对比 OWASP 2025 LLM 应用风险与 2026 Agentic 风险,指出提示词注入和敏感信息泄漏仍是基础风险,但智能体场景新增或显著强化了:
- 智能体目标劫持;
- 记忆与上下文投毒;
- 工具滥用与误用;
- 身份与权限滥用;
- 不安全的智能体间通信;
- 智能体供应链漏洞;
- 人机信任滥用;
- 非预期代码执行(RCE);
- 失控智能体;
- 记忆持久化攻击、多模态注入等。
演讲结论是:智能体的高度自主性、多智能体协同和复杂任务执行,使风险呈现组合叠加特征。
2. 仅凭对话也可形成攻击闭环
演讲将攻击路径概括为三个阶段:
| 阶段 | 主要方式 | 风险机制 |
|---|---|---|
| 输入端 | 提示词注入、角色扮演、直接/间接注入 | 在用户输入或外部数据源中嵌入恶意指令,覆盖或影响系统约束。 |
| 处理端 | 上下文污染、约束稀释、多步拆解 | 利用长对话削弱安全约束;将恶意目标拆解为表面合法的子步骤。 |
| 输出端 | 恶意代码执行、工具调用 | 诱导生成可执行代码并借助工具运行,形成现实行动闭环。 |
这意味着攻击者不一定需要直接入侵底层系统;若能操纵智能体的上下文、规划或执行链,也可能通过正常对话完成渗透或越权行为。
五、建立智能体安全生态:协同治理与系统化能力
演讲主张在政府统一指导下,联合供应链和应用领域合作伙伴,建立统一安全管控机制,保障智能体系统稳定、安全运行。
1. 各方角色
| 参与方 | 主要作用 |
|---|---|
| 政府 | 统一指导、政策法规、安全标准、监督评估与应急协同。 |
| 供应链 | 提供安全产品与技术支撑,参与安全规划、集成和建设。 |
| 应用领域 | 负责业务提供与使用,参与协同治理和安全运营。 |
2. 生态所需安全能力
- DevSecOps;
- 交互安全;
- 技能安全、App 安全、工具安全;
- 安全策略引擎;
- 身份与接入管理;
- 大模型安全与数据保护;
- 管理与监控、审计与追溯;
- 响应与处置。
六、AIOS:面向企业智能体的技术底座
1. AIOS 的定位
演讲将 AIOS 定位为支撑“人工智能+”目标的应用内核和企业级智能体平台底座。它服务于系统设备、个人终端、云场景、家庭社区和政企场景等多类应用,并支撑文本、语音、视频、图像等通用 AI 业务能力。
页面提出应用形态从“你问我答”走向“你说我做”,由界面操作走向无界交互,并以 AIOS 构筑企业智能体平台能力。
2. AIOS 分层架构
| 层级 | 核心组成 | 职责 |
|---|---|---|
| 业务服务层 | 各类 AI 应用 | 面向终端、云、家庭、政企等场景提供应用能力。 |
| 技术服务层 | 智能体控制器、智能体运行时、资源管理、多智能体编排 | 管理智能体接入、消息路由、会话、节点、工作空间、上下文、任务和生命周期。 |
| 基础设施层 | 模型、数据、数据库、分布式服务、媒体处理等 | 为 AIOS 提供模型、数据和计算支撑。 |
| 生态与设备层 | 插件、模型、技能、工具、服务器、终端和家庭设备 | 支持第三方扩展与多设备协同。 |
其中:
- 智能体控制器:统一管理接入通道、消息路由、会话及节点资源;
- 智能体运行时:管理工作空间、上下文、任务、多智能体编排等生命周期能力;
- 智能体资源管理:管理技能、工具、记忆和智能体安全等资源。
七、基于应用场景的威胁建模
演讲提出应结合消息平台、家庭、运营商、企业等不同场景开展威胁建模。智能体在云服务、终端、Agent Loop、模型、RAG、记忆、技能工具、插件和 API 等组件上都可能受到攻击。
页面可辨认的攻击方式包括:
- 身份与权限滥用、权限提升;
- 提示词注入与命令绕过;
- 恶意代码执行、深度伪造;
- 恶意插件与行为劫持;
- 供应链投毒与内存/记忆投毒;
- 模型窃取与模型投毒。
关键判断是:这些风险可能组合叠加,不能只靠单点防护,需要全生命周期、体系化安全方案。
八、AIOS 安全框架:构建内生安全的智能体技术底座
AIOS 安全框架将安全能力嵌入各个层次,以支撑智能体安全应用和安全运营。
1. 分层安全能力
| 安全层次 | 主要能力 |
|---|---|
| 智能体层 | 感知安全、规划安全、执行安全、记忆安全、审计追溯、响应处置、智能体沙箱。 |
| 资源与服务层 | 技能管理、知识管理、工具管理、模型管理、上下文/会话/记忆管理、运行监测、威胁分析、安全网关。 |
| AI 基础设施层 | 密钥安全、大模型安全、可信执行环境、主机安全、数据安全。 |
| 硬件与资源层 | 计算、存储、网络资源安全。 |
2. 内生安全的含义
内生安全不是在系统完成后简单叠加安全产品,而是将规划、工具、插件、记忆、模型、执行和审计安全作为 AIOS 技术底座的组成部分,使安全能力能够伴随智能体全生命周期运行。
九、全生命周期安全管控
演讲提出覆盖开发、运行和运维阶段的闭环治理。
1. 事前预防:开发态
- 智能体源码开发规范;
- 技能安全扫描、审核上架;
- 安全统一加固;
- 配置基线化;
- 开发阶段安全门禁。
2. 事中管控:运行态
- 高危命令自动拦截;
- 安全策略集中管控与动态更新;
- 基线核查与定时修复;
- 运行监测和安全运营。
3. 事后追溯:运维态
- 安全风险一键止血;
- 异常事件追溯定位;
- 态势分析与运营看板;
- 应急响应与审计。
演讲强调该体系通过纵深防御实现多层次攻击拦截,提高攻击成本并降低单点失效风险。
页面还称:中兴基于 AIOS 的企业级桌面智能体已有超过 6.5 万内部用户,数据 100% 本地化运行,过程可控、可视、可审计;并通过中国信通院智能体平台风险管理能力专项评测。上述均按演讲材料记录。
十、Co-Claw 企业智能体实践
1. 规模化应用场景
页面将 Co-Claw 定位为拥有用户记忆、理解用户习惯、掌握用户数据、调用用户工具以完成工作的“数字分身”。页面展示其已打通 20+ 核心业务系统,在云、地、多端部署下服务企业员工实际工作。
典型场景包括:
| 领域 | 页面展示能力 |
|---|---|
| 办公与研究 | 定时任务查询邮件、自动预订会议、合同文本解析和风险条款识别、项目任务跟进。 |
| 营销 | 专家经验形成数字资产,帮助提升专业效率。 |
| 研发 | 自动编写需求、代码和测试用例,支持“一人研发团队”。 |
| 运维 | 7×24 小时运维巡检、全天候值守与风险防范。 |
页面展示的规模信息为日活峰值 1 万+、总用户数 6.5 万+。这些数值为演讲材料所列。
2. 外部与内部安全要求
页面强调:
- 严格遵守《网络安全法》《数据安全法》及《生成式人工智能服务管理暂行办法》等法规要求;
- 禁止安装未经审批的外部 OpenClaw 类智能体;
- 严禁将涉密信息上传至外部 OpenClaw 类智能体或企业 Co-Claw;
- OpenClaw 类工具安装使用需完成安全加固,并对高危配置和漏洞风险实施预警与防范。
3. 将安全治理纳入 DevSecOps
演讲提出平台与开发者共建安全:
- 开发者:规范编写 Skill;
- 平台:筑牢安全屏障,实施发布门禁;
- Skill 发布到内部技能市场时,CI 自动触发安全扫描;
- 以本次变更的 Skill 目录为输入,递归扫描
SKILL.md、references、scripts等; - 按严重级别判定,失败则阻断发布并保留报告;
- 作者按报告整改、重新提交并复测,通过扫描后方可合并或发布。
由此形成“发布—扫描—整改—复测”的自动化闭环。
4. 安全与体验的平衡
页面展示其应用成果包括“双零安全记录”、安全加固、审计看板、风险拦截和无感防护体验等。可清晰辨认的材料性指标包括 1 万+ 次中高危拦截、80 万次中高危累计等,但图中文字与指标关联存在局部 OCR 不清,因此不作精确的完整指标解释。
演讲强调目标是在 AI 原生安全底座上实现“风险可控”与“体验无感”并重,为企业智能体规模化落地提供可复制实践路径。
十一、场景实践:智慧家庭与自智网络
1. 智慧家庭安全
页面展示家庭智慧中屏的安全应用:
- 家庭安防:视频监控、AI 异常行为识别、异常报警联动;
- 儿童照护:科学育儿、视力保护、坐姿识别等;
- 健康照护:健康体征监测、跌倒识别预警、远程陪伴;
- 全屋智能互联:门锁、温湿度传感器、烟雾报警器、摄像头、音箱、灯光、扫地机器人、插座、空调、空气净化器、窗帘等多品牌设备协同。
其安全架构依托端云协同:AIOS 智能体防护体系保障 AI 决策到行为的一致性,大模型安全平台保障内容合规,机密云计算系统满足算力与隐私双重要求。
2. 网络智能体安全
页面展示网络故障处理场景中,监控人员、故障排查人员与故障处理平台通过网络智能体协同完成:
故障发现 → 诊断分析 / 预处理 → 故障闭环 / 处置
安全底座包括安全网关、认证授权、短期/长期记忆、RAG、大模型、技能与工具,以及贯穿 Agent Loop 的感知、规划、执行能力,目标是保障自智网络稳健运行。
十二、展望:原生智能 + 内生安全
演讲最后指出,AI 风险主要出现在认知层,形态多样且业务复杂,传统以“堵”为主的静态安全手段已难以应对。
重点发展方向是面向垂直领域,结合:
- 内生白名单机制;
- 基于 AI 的意图与行为检测分析;
- 业务感知、资产智能识别与自适应防护;
- 动态安全策略与防护;
- 研发态白名单学习、运行态白名单导入;
- 思维链推理审计与纠偏;
- 智能安全管理和运营。
总体转变是:从静态规则驱动、工具堆砌,走向 AI 动态驱动、能力内建与智能安全运营,以构建与智能体发展相适应的新型安全体系。