资源介绍
视频数量：6个
总时长：1小时6分
课程介绍：
生成式人工智能威胁建模实战
一家企业推出内部智能助手Nora之后，安全团队接连收到两个问题：这个应用安全吗？它究竟可能出什么问题？面对大语言模型的随机输出、复杂权限和持续变化的行为，仅靠一次安全会议很难得出可靠答案。本课程以Nora为线索，拆解生成式人工智能威胁建模的完整思路 teaches security teams to identify attack surfaces, evaluate risks, prioritize controls, and turn threat modeling into repeatable practice.
一、从传统安全假设走向生成式人工智能风险
课程首先解释，生成式人工智能为什么与传统应用存在本质区别。传统软件通常按照明确规则运行，同一输入往往对应可预测结果；大语言模型则会基于概率生成内容，同样的提示可能得到不同回答，而且训练数据、系统指令、检索内容、用户输入与外部工具会共同影响输出。
这一部分深入分析非确定性失效模式。课程讨论幻觉、偏见、模型投毒、过度代理、提示注入以及不当数据泄露等问题，并区分无意故障与蓄意攻击。无意的错误往往来自用户误用、上下文污染、模型误解和工具调用失误；对抗性威胁则可能通过恶意提示、隐藏指令或投毒数据操纵模型行为。
提示注入是重点内容。模型难以可靠地区分“指令”和“数据”，攻击者可能借由文档、网页、检索片段或用户输入影响系统指令。课程进一步把风险边界从模型本身扩展到完整系统，包括系统提示、开发者提示、上下文窗口、训练数据、嵌入、向量数据库、RAG管道、记忆机制、API及外部工具。很多安全问题并不发生在模型内部，而是发生在模型与数据、权限和业务系统连接的位置。
二、用多种框架看清企业风险
面对NIST AI RMF、ISO 42001、OWASP Top 10 for LLMs、Mitre ATLAS、Secure AI Framework、STRIDE-AI等标准，课程没有简单罗列名称，而是把它们归入四个分析视角。
风险管理框架提供实施流程，帮助团队明确步骤、责任和审查节奏；威胁与漏洞分类法提供问题清单，避免凭经验遗漏关键风险；对手行为知识库展示攻击路径和真实攻击剧本；安全控制目录则用于寻找防护措施。
课程会对照企业场景，讲解如何将OWASP Top 10 for LLMs、STRIDE-AI与ATLAS映射到具体资产、角色、数据流和信任边界。重点不只是知道有哪些威胁，而是学会判断某个框架适合解决什么问题，以及多个框架如何互补。分析过程中还要考虑不同业务上下文，因为客服助手、代码助手和能执行工单操作的智能代理，即使使用相同模型，风险也完全不同。
三、风险评分与防护措施
找到威胁之后，还需要决定先处理什么。课程介绍DREAD-AI风险评分方法，从多个维度评估漏洞可能造成的影响，并结合资产价值、暴露程度、利用条件和业务场景形成优先级。这样得到的分数不是脱离环境的固定结论，而是帮助安全、产品与开发团队讨论风险的共同依据。
随后，课程讲解情境化护栏与模型评估方法。护栏可以出现在输入、检索、生成、输出和工具调用等环节，用来检查来源、限制内容、约束权限并阻断危险操作。评估部分关注系统是否在正常任务、边界输入、恶意提示和异常工具响应下保持预期行为。课程也强调，提示约束不能代替权限控制。真正有效的方案通常需要结合输入过滤、检索治理、输出验证、敏感信息保护、工具白名单、最小权限、人工复核和持续监控。
四、加固应用与沉淀威胁建模方法
最后一部分聚焦生成式人工智能应用的加固。课程分析代理式应用带来的新风险：当模型能够读取敏感数据、维持长期状态、调用API或触发工作流时，一次错误判断可能被放大为真实操作。团队需要限制代理能力，明确每个工具可以访问什么资源、可以执行什么动作，并记录完整的调用链。
课程还讨论威胁建模策略如何嵌入研发周期，而不是等项目接近上线才做一次检查。安全人员可与产品、设计、算法和工程团队共同识别资产，绘制数据流与信任边界，列出威胁，评估风险，验证控制措施并持续复盘。对于数据驱动型人工智能，还要追踪数据来源、版本和加工过程，因为失败常常源于被污染或脱离语境的数据，而非模型参数本身。
五、配套模板与实战资料
课程提供一组可直接使用的实战资料，包括生成式人工智能威胁模型模板、威胁建模检查表、常见问题解答、5个真实事件案例、30天安全行动计划，以及结业实践任务与评分标准。模板覆盖资产识别、威胁分类、风险评分、控制措施和剩余风险等环节，案例则帮助学员把抽象方法连接到真实事故。
完成课程后，你将能够读懂生成式人工智能系统结构和攻击面，选择合适的威胁建模框架，识别提示注入、数据投毒、幻觉与过度代理等关键风险，并使用DREAD-AI完成排序。你还会得到一套可复用的文档体系，把一次性的安全讨论变成团队能够持续执行、复核和改进的安全流程。