资源介绍
视频数量：12个
总时长：1小时2分
课程介绍：
自建大语言模型与智能体：从云端部署到Agent实战
想象一下这样一个场景：你打开电脑，像调用OpenAI的API一样向一个AI提问，但这次这个AI完全跑在你自己的服务器上，没有token费用，没有数据泄露的担忧，你的聊天记录、你的业务数据，全都留在你自己的机器里。更进一步，你还可以让这个AI不只回答问题，而是真的动手做事——比如自动去查询工单系统、帮你在ServiceNow里创建一条记录。这不是科幻，这门课就是要带你一步一步把这件事变成现实。
一、为什么需要自己部署大模型
现在的企业用大模型，大多是走OpenAI、Claude或者Google Gemini的云端订阅路线。方便是方便，但问题也很明显：你的数据要传到别人的服务器上，每次调用都要按token计费，调用量一大账单就让人心惊肉跳。更关键的是，你对这些模型几乎没有控制权——它什么时候更新、什么时候调整策略，全由供应商说了算。
所以越来越多的团队开始转向自托管的路线：把模型部署在自己的基础设施上，不管是本地环境还是云上的虚拟机。成本可控、数据安全、灵活定制，这些都是自建LLM的核心优势。这门课用的是一个轻量级模型——Qwen 2.5 3B，也就是通义千问30亿参数的版本。虽然规模不大，但足以跑通完整的部署链路，学习者可以用较低的成本完整复现一遍。
二、整体架构拆解
在动手之前，课程先花时间讲整体架构。自建LLM不是一个孤零零的模型文件，它涉及操作系统层面的运行环境、推理引擎（比如Ollama）、网络层的端口暴露与安全控制、以及客户端的连接方式。这些组件之间的协作关系搞清楚了，后面每一步操作才不是盲人摸象。
三、在AWS上准备一台云服务器
实操的第一步是在AWS上开通一台EC2实例。这部分会演示如何选择合适的实例类型、如何配置安全组规则、如何下载密钥对。然后是用Putty通过SSH连上这台服务器——很多同学对Linux命令行不熟，这一步会用最直观的方式展示连接过程，包括Putty的配置和SSH命令的使用方式。
四、安装Ollama：本地大模型的推理引擎
服务器准备好了，接下来就是装Ollama。Ollama是目前最流行的本地大模型运行框架之一，安装一条命令就能搞定，但它背后做的事情不少：模型下载、推理服务启动、API端口监听，全部封装好了。课程会先讲Ollama的架构原理，再演示安装过程，让你既知道怎么用，也明白它是怎么工作的。
五、部署并运行Qwen 2.5 3B模型
装好Ollama之后，就是拉取模型了。一条命令就能把Qwen 2.5 3B下载下来，下载完成后Ollama会自动启动推理服务。这时候模型其实已经在跑了，但从你电脑上还不能直接访问——因为EC2的安全组只开放了SSH端口。
解决方案是配置SSH隧道。课程会手把手教你建立本地端口到远程服务器端口的转发，让你的笔记本能像访问本地服务一样跟远程的LLM对话。之后还会用一个Python脚本测试连通性，确认从你电脑发出请求、远端模型收到并返回结果这条链路完全畅通。这中间涉及的Python虚拟环境搭建、依赖库安装、HTTP请求发送等细节，都会一步步演示。课程提供了check_connectivity.py和simple_agent.py等代码文件，跟着改、跟着跑就行。
六、Agentic AI：让大模型学会动手
前面的部分还停留在问答层面——你问一句，模型答一句。但现在业界真正兴奋的方向是让大模型变成Agent（智能体）：它不只回答问题，还能决定要不要调用外部工具、要不要执行某个动作。
课程会带你写一个简单的Agent程序，理解三个关键概念：用户查询是Agent收到的指令；工具是Agent可以调用的函数，比如查天气、查数据库、创建工单；Agent本身是决策者，它会根据用户输入判断该调用哪个工具、传入什么参数。用Python代码实操，写出来的东西你回头也能拿去改。
七、实战进阶：对接企业级工单系统
最后还有一个加分项：让Agent跟ServiceNow对接。ServiceNow是很多企业都在用的IT服务管理平台，工单、审批、事件管理全在上面。课程演示如何让Agent在收到用户指令后，自动去ServiceNow里创建一条Incident记录。你学到的不是孤立的演示案例，而是一个真正能在企业环境里落地的方案。
整个课程只有12个视频、总时长一小时出头，但信息密度不低。你会走完一条完整的链路：从零开始在云上搭建服务器，到部署一个可用的开源大模型，再到让这个模型变成能调用工具的Agent。每一步都有可运行的代码、可复现的命令，学完就能在自己的环境里搭一套出来。
这门课特别适合那些对大模型已有基本了解、想往工程落地方向深入的开发者；也适合企业IT团队里负责评估和引入AI方案的技术负责人；对DevOps和云架构感兴趣、想拓展AI方向技能树的朋友同样会觉得内容实用。不需要你有深厚的AI背景，只要你会基本的命令行操作和Python语法，就能跟上节奏。
花一个小时，换来一套从部署到应用的全流程能力，这个投入产出比，值得认真考虑一下。