资源介绍
视频数量：14个
总时长：11小时42分
课程介绍：
人工智能红队演练与安全大师课
你有没有想过，一个看起来人畜无害的聊天机器人背后，其实藏着无数可以被利用的漏洞？当你在ChatGPT里输入"忽略之前所有的指令"，这看似简单的几个词，可能就是一把打开潘多拉盒子的钥匙。这门课程想做的事情，就是系统性地教你如何找到这些钥匙，以及如何防止它们被别人用来打开不该打开的门。
课程的主讲人Sandro Schulhoff是Learn Prompting的创始人兼CEO，这个网站是互联网上最早出现的提示词工程指南之一，已经帮助过三四百万人学习相关知识。他本人还主持了历史上第一场AI红队演练竞赛HackAPrompt，这场赛事甚至早于后来在DEF CON举办的相关活动。除此之外，他还为微软和OpenAI等公司做过多次内部培训，撰写了被广泛引用的《Prompt Report》系统文献综述。这样的人来讲AI安全，课程的分量自然不会轻。
一、AI红队演练究竟在做什么。
很多人对"红队演练"这个概念并不陌生，在传统网络安全里，红队扮演的是攻击者的角色，通过模拟黑客的行为来发现系统漏洞。AI红队演练把这个思路搬到了人工智能系统上，只不过攻击的对象从服务器和数据库变成了大语言模型的提示词接口和输出逻辑。课程第一周会先讲清楚这门学科的基础——AI的基本原理、现实世界中的AI风险与危害、提示词注入和越狱的运作方式，以及为什么这些攻击会奏效。这部分内容是为后面更深入的技术讨论打底，让你先建立起"AI也会被骗"的直觉，再去理解背后的机制。
二、从攻击者的视角拆解生成式AI。
第二周的核心是"攻"。课程会带着你像攻击者一样思考：怎样构造一段提示词让模型输出它本不该输出的内容？多模态攻击和间接提示词注入是怎么回事？为什么有些看起来毫无意义的字符序列能让ChatGPT瞬间"破防"？这一周还会穿插一位特别嘉宾的分享——Reddit上ChatGPT越狱子版块的管理员David，他会从他运营越狱社区一年半的经验出发，展示实战中的越狱技巧和定制GPT玩法。课程配套的越狱挑战项目也会在这个阶段正式上线，你得亲手构造提示词去突破模型的安全护栏。另一位嘉宾Joseph Thacker则会从对齐、安全和安全的交叉地带，讨论真实的AI风险到底在哪里、哪些是媒体炒作哪些是真问题。
三、从防御者的视角加固生成式AI。
光知道怎么攻还不够，你得知道怎么守。第三周的内容转向防御：基于提示词的防御策略有哪些？安全调优和检测模型是怎么工作的？如何识别可疑的输入和输出？这一周还会专门讲到传统网络安全和AI安全的交叉地带——AI如何改变现有的攻防格局，企业真正在意的危害类型又是什么。David Williams-King会作为嘉宾分享他的视角，他既有传统安全的背景，又深耕AI领域，能帮你把AI安全放到更大的网络安全图景里去理解，而不是孤立地看待它。
四、自动化红队演练与前沿趋势。
最后一周进入更前沿的领域：自动化的AI红队演练方法究竟可不可行？有哪些可用的工具和框架？CBRNE（化学、生物、放射、核、爆炸物）类挑战的解题思路是什么样的？攻击成功率（ASR）这个指标该如何计算和解读？Haize Labs的CEO Leonard Tang和微软AI红队负责人Richard Lundeen会分别带来他们在一线工作中的前沿观察。最后一课的压轴嘉宾Johann Rehberger会讲解SpAIware和更高级的提示词注入技术，这些内容代表了当前AI安全研究的最前沿，很多在公开资料里根本看不到。
整门课程的实践部分被设计得相当硬核。除了听课之外，你需要完成HackAPrompt 1.0的实战项目和CBRNE挑战，并且在解题过程中真正动手去构造攻击提示词。这种学法的好处是，你听完理论之后能立刻在沙盒环境里验证自己的想法，而不是停留在"听起来很有道理"的层面。课程配套的资料也很丰富——每周都有PDF和PPT讲义，还有大量的推荐阅读和补充笔记，涵盖攻击面分析、合规要求、自动红队工具、检测模型等主题，方便你在课后继续深挖任何一个感兴趣的分支。
如果你是AI应用的产品经理或工程师，想搞清楚自己的产品可能面临哪些安全风险，这门课会告诉你常见的攻击面在哪里。如果你是一名安全研究员，想把研究领域从传统网络安全扩展到AI系统，课程里的攻击技术和防御策略都能成为你的新工具箱。又或者，你本身是一名提示词工程的深度玩家，想从"会用"升级到"懂攻防"，课程里大量的越狱案例和自动化方法会让你的技术深度再上一个台阶。这门课不要求你有机器学习的深厚背景，但需要你对大语言模型的工作方式有基本的好奇心，以及动手试错的意愿。
四周课程结束之后，你将能够理解AI红队演练的完整方法论，从攻击、防御到自动化测试都建立起系统性的认知。更重要的是，你能用这些知识去评估真实场景中的AI系统安全性，能在产品上线前识别潜在的风险点，而不是仅仅停留在新闻报道层面的担忧。知道AI会被骗是一回事，亲手拆解过它是怎么被骗的，是另一回事。这门课能让你走到后者那个位置上去。