资源介绍
视频数量：23个
总时长：3小时59分
课程介绍：
大语言模型应用测试：评估指标、检索增强生成与持续集成
同一条客服问题，今天机器人给出了完整退款条件，明天却换了一种说法；测试第一次通过，第二次又失败。传统自动化测试最怕这种波动，可大语言模型应用恰恰如此。更棘手的是，输出还可能说得流畅却偏离事实、凭空补出政策，或者知识正确却答非所问。课程从这个难题切入：怎样把不确定的模型输出，变成可重复、可解释、能进入发布流程的测试对象。
一、先理解大语言模型为什么难测：
普通软件通常有明确输入和预期输出，大语言模型却会受到提示词、模型版本、上下文、采样策略和外部知识影响。同一问题出现多个合理答案，不一定代表程序有缺陷；但答案违反资料、带有偏见或泄露敏感信息，也不能因为语言自然就被放过。课程先梳理它与传统测试的差异，介绍质量指标、评估思路和常见故障，帮助测试人员建立适合生成式应用的判断框架，而不是只盯着唯一一句标准答案。
二、从零搭建可复现的测试环境：
课程先准备 Ollama 和本地模型，再配置 Python、pytest 与 DeepEval。视频会实际执行安装命令、调用第一次模型请求，并演示笔记本、脚本和评测资料的使用方式。Colab 快速指南、安装脚本和指标参考材料，让你既能在本机操作，也能在设备条件有限时练习。模型版本、依赖和测试数据一旦混乱，评测结果就无法比较，因此环境准备也是测试工作的第一块基石。
三、用代码写出有业务意义的评估指标：
进入 DeepEval 后，课程先建立基础评测样例，再使用 GEval 定义贴近实际要求的判断规则，并逐项测量正确性、相关性、忠实度、幻觉与引用、毒性和偏见。比如用户询问取消订阅，回答若继续介绍套餐，内容可能没错，却没有回应问题，这就是相关性要抓的缺陷；在检索增强场景中，回答里的每项主张都应得到给定资料支持，否则再像真的，也属于不可信。每个指标都配有代码和练习，重点不是只得到分数，而是看懂失败样本、调整提示词或数据，再验证改动是否有效。
四、测试一个检索增强生成应用：
课程搭建模拟的 RAG 聊天应用，把知识库、用户问题、检索上下文和最终回答串成完整测试流程。你会看到问题究竟出在哪：没有检索到正确资料，还是资料已经找到，却被模型误读、漏答或扩写。忠实度用于发现无依据的断言，正确性和相关性用于识别事实错误与答非所问。把这些维度组合起来，RAG 测试就不再只是看回答是否顺眼，而会成为能重复执行、能定位故障的工程方法。
五、给智能体与工具调用加上测试护栏：
智能体不只生成一句话，它还会规划步骤、选择工具、填写参数，并根据工具结果继续行动。选错工具、传错参数或忽略状态，都可能让任务失败，只看最后一句也很难找到原因。课程通过智能体示例和笔记本实践工具调用测试，带你记录执行过程、校验关键动作，并为异常结果设计断言。这对准备把智能体接入真实业务流程的团队尤其重要，因为能够演示不等于可以放心上线。
六、用 Promptfoo 快速验证并展开对抗测试：
课程介绍 Promptfoo 的用途，并通过实际操作建立测试配置、运行断言和查看结果。同一组问题可以比较不同提示词或模型版本，也能加入诱导、越权和提示注入等异常输入，观察系统会泄露信息、偏离任务，还是能够识别风险。它与代码化评测形成互补：DeepEval 适合维护结构化的 Python 指标，Promptfoo 适合快速迭代提示词、批量回归和扩展场景。两套方法结合后，你可以按项目阶段选择工具，不必被单一框架限制。
七、把评测接入持续集成与持续交付：
评测不能只在开发者电脑上运行。课程讲解如何把评估脚本接入 GitHub Actions，拆解工作流、配置和关键文件，让每次提交或发布都能自动执行测试。结果低于质量阈值时，构建应明确失败并留下可追踪信息；面对模型输出波动，还需通过固定测试集、合理分层和重试策略减少误报。密钥保护、测试成本和外部服务不稳定等问题，也要在真正落地前处理。只有质量检查成为流水线的固定步骤，模型更新才不再依赖人工聊天碰运气。
八、完成端到端综合项目：
最后，你会把聊天机器人、知识库、评估测试和自动化工作流组装成一套接近生产环境的项目。目录包含应用代码、依赖清单、pytest 配置，以及忠实度、相关性和安全测试，并通过 GitHub Actions 自动执行。综合演练把前面的内容串成完整链路：业务问题变成测试数据，模型输出交给指标判断，失败结果反馈给代码和提示词，修改后再由流水线复验。各模块作业也不只是观看任务，而是要求你亲手运行和检查结果。
适合人群与学习收获：
这套内容适合传统质量保障工程师转向生成式应用测试，也适合正在开发聊天机器人、检索增强系统或智能体的后端与算法工程师，以及需要设置模型质量门禁的 DevOps 团队。具备基础 Python 使用经验即可，安装、样例和综合项目都有演示。二十三节视频接近四小时，重点始终落在设计问题、编写评测、观察失败、修正验证。学完后，你会掌握两套评测工具、一套 RAG 与智能体测试思路，以及可持续运行的自动化质量流程，面对大模型输出时不再只凭感觉判断好坏。