资源介绍
视频数量：31个
总时长：2小时29分
课程介绍：
大语言模型应用开发与部署实战
想让模型真正进入业务，最难的不是让它回答一次问题，而是让它稳定、准确地处理企业知识，按照既定格式输出结果，并且能够在真实环境中长期运行。一次简单的问答可以靠提示词完成，但当业务涉及多轮对话、内部文档、专属语气和持续优化时，就需要把模型选择、提示设计、知识检索、微调训练与上线部署连成一套完整流程。
这套生成式人工智能与大语言模型运维课程，以31个视频和2小时29分的篇幅，带你从模型原理出发，逐步搭建可用于实际项目的LLM应用。课程没有停留在概念介绍上，而是围绕Microsoft Foundry、Responses API、提示工程、RAG、微调和生产部署展开，目标是帮助你理解每个技术环节为什么存在，以及在什么场景下应该选择哪一种方法。
一、认识大语言模型，建立完整应用思路：
课程先回顾大语言模型的演化历程，并梳理学习前需要具备的基础知识和课程路线。接着通过一张整体图景，解释文本如何被切分成词元、如何转换成向量表示，以及注意力机制如何捕捉词语之间的关系。你会了解ChatGPT、Claude、Gemini等模型虽然能力不同，但大多建立在Transformer架构的不同变体之上。
这一部分还会对比专有模型与开源模型，分析各自的部署方式、成本、数据控制和定制空间，帮助你避免“哪个模型更强”这种单一判断。真正选型时，需要结合任务复杂度、上下文长度、响应速度、预算、合规要求与维护能力。课程还会介绍一个LLM应用的完整生命周期，从需求分析到模型接入，再到测试、优化和上线，让技术选择始终服务于业务目标。
二、拆解模型架构与生成原理：
理解Transformer并不是为了推导公式，而是为了更准确地判断模型在哪些任务上容易出错。你可以学习文本表示的基本方式，了解词元如何承载语义，以及模型如何通过多头注意力、前馈层和多层堆叠逐步形成对长句结构的理解。
在提示与生成参数部分，课程会说明提示如何影响输出，温度、最大生成长度、停止条件等参数又会怎样改变回答的多样性。掌握这些原理后，面对“模型偶尔答非所问”“回答太发散”或“输出格式不稳定”等常见问题，就能从上下文、指令清晰度和生成配置入手排查，而不是反复碰运气。
三、调用模型构建首个LLM应用：
进入实操环节后，你将学习在Microsoft Foundry中部署并调用模型，理解模型版本、部署名称和接口配置之间的关系。随后通过Responses API管理角色与对话状态，让模型能够区分系统指令、用户请求和历史消息，并在连续对话中保持上下文。
课程还会演示流式响应，让文字像聊天工具一样逐步呈现，而不是等待完整答案生成完毕；通过推理强度控制任务所需的思考投入，并利用摘要能力压缩长对话，减少上下文占用。对于客服助手、内部问答机器人或需要连贯交互的应用，这些能力直接决定用户体验是否自然，也关系到接口调用成本能否得到控制。
四、从提示设计到模型适配：
提示设计是成本最低、上线最快，也最适合反复试验的适配方式。课程从提示的基本结构讲起，拆解角色、任务、背景资料、约束条件、输出格式和示例等组成部分，再介绍如何加入少样本示例、分解复杂任务、约束回答边界，以及通过迭代测试持续改进提示。
更重要的是，你会建立清晰的选择顺序：先用提示设计解决大部分行为要求；提示无法稳定接入最新知识时，再考虑RAG；只有当提示与RAG仍不能达到目标，才进入微调。这种决策方式能避免一开始就承担昂贵的训练成本，也能减少为了改变语气或固定格式而直接训练模型造成的资源浪费。
五、用RAG连接企业知识库：
通用模型不了解企业内部资料，也很难保证实时信息准确。RAG通过在回答前检索外部知识，为模型补充可信上下文，是知识问答、文档分析、制度查询和客服支持等场景的重要基础。
本节会解释模型为什么需要接地，介绍嵌入向量与相似度搜索的工作方式，再逐步拆解检索增强生成的完整流程。配套案例使用产品手册等PDF资料，演示文档进入知识库后如何被检索、拼接进提示并生成答案。你将看到RAG并非简单“上传文件后提问”，其中还涉及切分策略、检索质量、相关性排序和提示整合。掌握这些环节，才能减少答非所问、引用错误和知识遗漏。
六、微调模型并建立评估意识：
当业务需要固定风格、专业表达、特定任务格式，或者希望减少反复修改提示的成本时，可以进一步微调模型。课程会介绍微调的基本原理、常见类型及适用场景，并对比微调、RAG与提示设计之间的差异。
实操部分涵盖创建和配置微调任务、准备训练数据、启动训练、部署微调模型并进行测试。练习中还提供了支持语气训练数据，帮助理解如何把业务表达方式转化为模型学习样本。微调不是“上传几个示例就一定变聪明”，它会改变模型权重，因此需要合理的数据质量、训练参数和评估方式。
课程也会讲解模型评估指标，让你学会从准确性、任务完成度、输出一致性和业务适配效果等维度比较模型，而不是仅凭几条示例判断好坏。只有评估能够持续运行，后续优化才有明确依据。
七、面向生产环境部署与运行：
模型演示成功并不等于能够投入生产。课程先介绍常见部署策略，对比托管API与自托管模型在运维负担、扩展能力、安全控制、延迟和成本上的差异。本地部署部分会进一步分析硬件投入、并发承载、模型版本管理和运维复杂度，避免低估长期维护所需资源。
最后讨论如何优化模型尺寸，在模型能力、响应速度、硬件要求和运行成本之间寻找平衡。这个环节会让整个课程从“做出一个Demo”走向“规划一个可持续运行的系统”。课程结尾还会总结关键知识，并给出下一阶段的学习方向。
完成这套课程后，你将能够根据业务需求选择合适模型，设计更可靠的提示，构建基于企业资料的RAG方案，配置并评估微调任务，同时判断何时采用托管API、何时需要自托管部署。更重要的是，你会形成一套完整的LLM应用开发方法：先拆问题，再选技术，以小步测试验证效果，最后依据评估结果持续调整。对于希望进入生成式AI应用开发、企业AI项目实施或LLMOps岗位的技术人员，这套课程提供了从原理到落地的清晰路线。