课程简介
本课程是为高级工程师量身定制的为期2天的AI安全专项培训。课程基于主流安全框架与行业规范，系统构建从认知到实践的完整知识体系。内容涵盖AI安全基础、全生命周期核心风险（数据污染、模型窃取、Prompt注入等）、以及覆盖“数据-模型-应用”三层的防护体系构建。课程深度融合通信行业场景，并通过Cleanlab、SecGPT等主流开源工具进行实操演练，旨在使学员全面掌握AI系统安全治理、风险防御与应急响应的关键能力，保障AI应用安全、合规、可靠地落地。
目标收益
1、建立AI安全系统性认知：深入理解AI安全与传统网络安全的差异，掌握贯穿AI设计、训练、部署、运维全生命周期的核心风险与治理框架。
2、掌握核心风险识别与防御技能：能够精准识别数据污染、模型投毒、Prompt注入等关键攻击手段，并学习数据脱敏、模型加密、输出过滤等基础防御技术。
3、具备构建企业级防护体系的能力：学会设计“数据-模型-应用”三层防护逻辑，并能结合业务场景（如智能运维、网络优化）制定适配的AI安全防护与合规审查方案。
4、获得主流AI安全工具实操经验：通过动手演练，掌握使用Cleanlab进行数据质量检测、利用SecGPT进行模型漏洞扫描、以及借助AI安全护栏防御注入攻击等实战技能。
5、提升安全事件应急响应水平：学习AI安全事件分类与处置流程，掌握针对数据泄露、模型攻击等场景的应急响应框架与预案优化方法。
6、明晰行业合规与未来趋势：了解国内外AI安全监管核心要求，把握生成式AI、边缘计算等新趋势下的安全挑战与应对策略，为未来工作提供前瞻性指导。
培训对象
公司高级工程师
课程大纲
| 第一天：AI安全基础认知与核心风险识别 |
模块一：AI安全概述与行业发展趋势（40分钟） AI技术架构核心组件解析（大模型训练层、推理计算层、应用接口层、数据支撑层的协同逻辑） AI的典型应用场景与安全关联（智能运维AIOps的故障诊断安全、AI客服的用户数据隐私保护、网络智能优化的决策安全性、业务风控的模型公正性） AI安全与传统网络安全的核心差异及关联（差异：攻击目标从系统漏洞转向模型/数据，攻击手段更具隐蔽性；关联：基础网络安全是AI安全的前提保障） 国内外AI安全监管政策解读（含《生成式人工智能服务管理暂行办法》《网络数据安全管理条例》中与联通业务相关的合规要求） 模块二：AI安全治理核心框架与模型（50分钟） AI安全治理框架核心要素（战略规划、组织架构、流程规范、技术支撑） AI系统生命周期安全划分（设计阶段、训练阶段、部署阶段、运维阶段、退役阶段） AI系统安全需求映射（结合业务场景的安全目标与治理重点） 模块三：AI系统全生命周期核心风险识别（80分钟） 训练阶段风险：数据污染、数据泄露、标签偏见 部署阶段风险：模型窃取、模型投毒、推理攻击 运维阶段风险：模型漂移、权限滥用、第三方组件漏洞 通用AI安全漏洞分类解读（如模型规避、Prompt注入、过度拟合泄露等） 案例分析：某AI应用安全事故（如智能调度系统攻击事件）+ 典型AI安全漏洞案例 模块四：AI隐私治理核心规范与数据安全合规（50分钟） AI隐私保护核心原则（目的限制、最小必要、知情同意） 模块五：AI训练数据安全与污染防御（40分钟） 训练数据采集、清洗、存储全流程安全管控 数据污染攻击的类型与检测方法（实操工具：Cleanlab，MIT主导的开源数据质量检测工具，可识别数据污染、标签错误等问题，出处：GitHub开源社区） 基于行业主流AI数据安全保护规范的防护方案 模块六：AI模型安全核心风险与防御初探（80分钟） 模型窃取与逆向工程攻击原理 模型投毒攻击的实施路径与检测指标 模型加密与访问控制基础方案 AI模型安全防护最佳实践（含Prompt注入防御、输出过滤机制） 小组讨论：现有AI系统模型安全潜在风险 |
| 第二天：AI安全防御体系构建与实践落地 |
模块七：AI数据与模型安全防护体系构建（50分钟） AI安全防护核心框架设计（“数据-模型-应用”三层防护逻辑，覆盖全生命周期安全管控） 数据层安全防护技术：训练数据脱敏（开源工具：Presidio，谷歌开源隐私数据脱敏工具，出处：GitHub）、数据完整性校验（基于哈希算法的校验方案）、异常数据过滤（结合Cleanlab工具实操要点） 模型层安全防护技术：模型加密（开源算法：TensorFlow Privacy的差分隐私保护方案，出处：TensorFlow官方开源社区）、模型水印嵌入（防窃取追踪技术）、模型漏洞预处理（基于SecGPT的前置扫描流程） 防护技术选型原则：适配通信行业AI系统架构（如边缘AI节点、云端推理平台）、兼顾性能与安全性、满足合规审计要求 AI防护体系落地要点（结合联通智能运维、网络优化等场景的防护优先级） 模块八：AI部署与运维阶段安全管控（40分钟） AI推理环境安全加固（容器安全、边缘节点防护） 模型漂移检测与动态更新安全机制 AI系统运维审计与日志分析方案 模块九：AI安全治理与合规体系建设（80分钟） AI安全治理组织架构与职责划分（结合联通企业架构） 基于行业AI隐私治理核心规范的合规审查流程设计 AI安全政策与制度体系搭建要点 案例：大型企业AI安全治理体系落地实践 模块十：AI安全工具实操与案例演练（50分钟） 开源免费AI安全检测工具介绍：1. SecGPT（全球首个网络安全开源大模型，可用于AI模型漏洞扫描，出处：云起无垠公司GitHub开源项目）；2. Cleanlab（数据污染与标签错误检测工具，出处：MIT主导GitHub开源项目）；3. 中国电信AI安全护栏（聚焦AI输入侧攻击防控，含Prompt注入检测功能，出处：中国电信开源项目） 开源AI安全工具套件实操：重点演示Cleanlab数据污染检测、中国电信AI安全护栏Prompt注入防护功能（工具获取路径：对应开源项目GitHub仓库） 工具实操：基于SecGPT开展AI模型安全漏洞扫描（模拟联通AI业务场景，含典型漏洞检测），同步演示Cleanlab在训练数据安全校验中的应用 模块十一：通信行业AI安全应急响应（40分钟） AI安全事件分类与应急响应流程 AI安全事件处置框架与优先级划分 典型AI安全事件处置案例（数据泄露、模型攻击） 安全应急响应预案优化建议（结合行业应急实践） 模块十二：总结与答疑+未来AI安全趋势展望（50分钟） 两天核心内容回顾与重点梳理 学员问题答疑与经验交流 生成式AI、边缘AI安全新趋势与应对策略 模块十三：培训考核与反馈（30分钟） 核心知识点测试（客观题+案例分析题） 培训内容与形式反馈收集 |
|
第一天：AI安全基础认知与核心风险识别 模块一：AI安全概述与行业发展趋势（40分钟） AI技术架构核心组件解析（大模型训练层、推理计算层、应用接口层、数据支撑层的协同逻辑） AI的典型应用场景与安全关联（智能运维AIOps的故障诊断安全、AI客服的用户数据隐私保护、网络智能优化的决策安全性、业务风控的模型公正性） AI安全与传统网络安全的核心差异及关联（差异：攻击目标从系统漏洞转向模型/数据，攻击手段更具隐蔽性；关联：基础网络安全是AI安全的前提保障） 国内外AI安全监管政策解读（含《生成式人工智能服务管理暂行办法》《网络数据安全管理条例》中与联通业务相关的合规要求） 模块二：AI安全治理核心框架与模型（50分钟） AI安全治理框架核心要素（战略规划、组织架构、流程规范、技术支撑） AI系统生命周期安全划分（设计阶段、训练阶段、部署阶段、运维阶段、退役阶段） AI系统安全需求映射（结合业务场景的安全目标与治理重点） 模块三：AI系统全生命周期核心风险识别（80分钟） 训练阶段风险：数据污染、数据泄露、标签偏见 部署阶段风险：模型窃取、模型投毒、推理攻击 运维阶段风险：模型漂移、权限滥用、第三方组件漏洞 通用AI安全漏洞分类解读（如模型规避、Prompt注入、过度拟合泄露等） 案例分析：某AI应用安全事故（如智能调度系统攻击事件）+ 典型AI安全漏洞案例 模块四：AI隐私治理核心规范与数据安全合规（50分钟） AI隐私保护核心原则（目的限制、最小必要、知情同意） 模块五：AI训练数据安全与污染防御（40分钟） 训练数据采集、清洗、存储全流程安全管控 数据污染攻击的类型与检测方法（实操工具：Cleanlab，MIT主导的开源数据质量检测工具，可识别数据污染、标签错误等问题，出处：GitHub开源社区） 基于行业主流AI数据安全保护规范的防护方案 模块六：AI模型安全核心风险与防御初探（80分钟） 模型窃取与逆向工程攻击原理 模型投毒攻击的实施路径与检测指标 模型加密与访问控制基础方案 AI模型安全防护最佳实践（含Prompt注入防御、输出过滤机制） 小组讨论：现有AI系统模型安全潜在风险 |
|
第二天：AI安全防御体系构建与实践落地 模块七：AI数据与模型安全防护体系构建（50分钟） AI安全防护核心框架设计（“数据-模型-应用”三层防护逻辑，覆盖全生命周期安全管控） 数据层安全防护技术：训练数据脱敏（开源工具：Presidio，谷歌开源隐私数据脱敏工具，出处：GitHub）、数据完整性校验（基于哈希算法的校验方案）、异常数据过滤（结合Cleanlab工具实操要点） 模型层安全防护技术：模型加密（开源算法：TensorFlow Privacy的差分隐私保护方案，出处：TensorFlow官方开源社区）、模型水印嵌入（防窃取追踪技术）、模型漏洞预处理（基于SecGPT的前置扫描流程） 防护技术选型原则：适配通信行业AI系统架构（如边缘AI节点、云端推理平台）、兼顾性能与安全性、满足合规审计要求 AI防护体系落地要点（结合联通智能运维、网络优化等场景的防护优先级） 模块八：AI部署与运维阶段安全管控（40分钟） AI推理环境安全加固（容器安全、边缘节点防护） 模型漂移检测与动态更新安全机制 AI系统运维审计与日志分析方案 模块九：AI安全治理与合规体系建设（80分钟） AI安全治理组织架构与职责划分（结合联通企业架构） 基于行业AI隐私治理核心规范的合规审查流程设计 AI安全政策与制度体系搭建要点 案例：大型企业AI安全治理体系落地实践 模块十：AI安全工具实操与案例演练（50分钟） 开源免费AI安全检测工具介绍：1. SecGPT（全球首个网络安全开源大模型，可用于AI模型漏洞扫描，出处：云起无垠公司GitHub开源项目）；2. Cleanlab（数据污染与标签错误检测工具，出处：MIT主导GitHub开源项目）；3. 中国电信AI安全护栏（聚焦AI输入侧攻击防控，含Prompt注入检测功能，出处：中国电信开源项目） 开源AI安全工具套件实操：重点演示Cleanlab数据污染检测、中国电信AI安全护栏Prompt注入防护功能（工具获取路径：对应开源项目GitHub仓库） 工具实操：基于SecGPT开展AI模型安全漏洞扫描（模拟联通AI业务场景，含典型漏洞检测），同步演示Cleanlab在训练数据安全校验中的应用 模块十一：通信行业AI安全应急响应（40分钟） AI安全事件分类与应急响应流程 AI安全事件处置框架与优先级划分 典型AI安全事件处置案例（数据泄露、模型攻击） 安全应急响应预案优化建议（结合行业应急实践） 模块十二：总结与答疑+未来AI安全趋势展望（50分钟） 两天核心内容回顾与重点梳理 学员问题答疑与经验交流 生成式AI、边缘AI安全新趋势与应对策略 模块十三：培训考核与反馈（30分钟） 核心知识点测试（客观题+案例分析题） 培训内容与形式反馈收集 |
近期公开课推荐