八个治理维度
AI安全的八个治理维度
每个维度都对应具体可执行的控制措施与责任分工,而非原则性表述。
数据安全
- 控制措施
- 数据分级分类、最小必要使用、访问控制、传输与存储保护、敏感字段脱敏。
- 落地要点
- 先明确哪些数据可以进入AI流程,再设计功能;数据使用范围写入方案约束。
模型安全
- 控制措施
- 模型接入审批、提示词版本管理、输出边界控制、模型与依赖组件漏洞跟踪。
- 落地要点
- 通过统一模型网关管理调用,避免业务系统直接直连多个模型服务。
内容安全
- 控制措施
- 输入与输出内容过滤、敏感内容识别、高风险内容人工复核与拦截记录。
- 落地要点
- 面向外部或公众的内容输出场景,需设置更严格的审核与兜底策略。
隐私保护
- 控制措施
- 最小必要原则、个人信息脱敏、数据使用范围约束、留存期限管理。
- 落地要点
- 涉及个人信息的场景需明确处理目的与范围,并纳入合规评估。
权限管理
- 控制措施
- 基于角色的访问控制、知识库与数据分域隔离、敏感操作二次确认。
- 落地要点
- AI应用的权限应与原业务系统保持一致,避免出现权限放大。
日志审计
- 控制措施
- 模型调用日志、知识访问日志、Agent执行日志留存与可追溯查询。
- 落地要点
- 日志需包含时间、主体、对象与操作结果,支持问题定位与责任界定。
风险监测
- 控制措施
- 异常调用频次监测、异常内容告警、效果指标劣化预警、资源异常监测。
- 落地要点
- 监测项与告警阈值应在方案阶段定义,并明确响应责任人。
合规治理
- 控制措施
- 结合行业监管要求开展合规评估、整改跟踪与定期复查。
- 落地要点
- 具体适用要求需与客户合规与法务团队共同确认,不代为作出合规结论。
全生命周期治理
安全治理贯穿四个阶段
安全不是上线前的一次检查,而是在每个阶段都有对应的动作与交付物。
研发阶段
明确数据边界、权限模型与审计要求,形成安全设计约束与评审要点。
部署阶段
完成环境安全配置、依赖核查、权限初始化与部署方案确认。
应用阶段
落实内容过滤、脱敏处理、操作留痕与高风险动作的人工确认。
运营阶段
持续监测风险与效果、复查权限、更新策略并跟踪合规要求变化。
可执行
每一项安全要求都落到具体配置、流程或代码约束上,不止于文档描述。
可审计
关键操作有日志、有记录,能够还原发生了什么、由谁发起。
可追溯
答案与结论可以回溯到数据来源与处理环节,便于核查与改进。
合规与方法
安全与合规工作的组织方式
我们如何开展安全治理
- 识别范围:明确AI应用涉及的数据类型、系统边界与使用角色。
- 评估风险:识别数据泄露、越权访问、内容风险与错误传导等主要风险点。
- 设计控制:针对风险点设计技术与管理控制措施,并明确责任人。
- 实施验证:在开发与上线阶段验证控制措施是否生效。
- 持续运营:通过监测、审计与复查机制保持控制有效性。
安全常见问题
AI安全常见问题
主要通过四类措施降低风险:一是数据分级分类,明确哪些数据可以进入AI流程;二是部署方式选择,敏感数据可采用私有化部署使数据不出域;三是权限控制,知识库与数据按角色限定可见范围;四是日志审计,记录模型调用与数据访问行为以支持追溯。任何方案都无法承诺绝对安全,需要结合企业合规要求持续治理。
常见做法包括:使用RAG让回答基于企业知识并提供引用出处;对输出做结构化约束与格式校验;对关键字段设置二次核验;明确标注不确定内容;对高风险场景保留人工确认环节;建立评测集并按周期抽样复核效果。
合规要求依行业与数据类型而异,通常涉及数据安全与个人信息保护、行业监管规定以及生成内容管理要求。具体适用范围需结合企业实际业务与所在行业确认,九方创想云在方案阶段协助梳理相关约束并落实到设计与流程中。
存在。主要风险包括误操作、越权调用、重复执行与错误传导。控制手段包括限定工具与数据权限、对高风险动作设置人工确认、设计幂等与回退机制、限制单次执行范围,并完整记录执行日志以便追溯。
不等于。私有化部署主要解决数据不出域的问题,但权限管理、日志审计、内容过滤、模型与依赖组件的漏洞管理仍需要单独建设。私有化是降低风险的必要条件之一,而不是充分条件。
建议在方案设计阶段即介入,明确数据边界、权限模型与审计要求;在开发阶段落实控制措施;在上线阶段完成安全核查;在运营阶段持续监测与更新。若在上线前才补充安全设计,往往需要大幅返工。