资源介绍
视频数量：21个
总时长：4小时50分
课程介绍：
多模态AI与RAG实战：从零搭建三种智能助手
想象这样一个场景：你正坐在会议室里，手里攥着一叠会议记录，桌上摊着PPT截图，手机里还存着两个小时的会议录音。要把这些信息整理成一份完整的会议摘要，提取关键决策，列出行动项——光是想一想就觉得头疼。如果这时候有一个AI助手能同时"看懂"文字、"看见"图片、"听懂"音频，然后自动给你输出一份结构清晰的总结，事情就完全不一样了。
这不是科幻小说里的情节，而是这门课要带你亲手实现的东西。
这门课的核心，是教你构建多模态AI系统。所谓多模态，就是让AI不再局限于处理单一类型的输入，而是同时理解文本、图像和音频三种数据形式。结合RAG（检索增强生成）技术和上下文工程方法，你将搭建出真正实用的智能助手，而不是只能聊天的玩具。
整个课程分为两大部分：基础概念学习和项目实战。在动手做项目之前，课程会先把地基打牢。你会了解到需要用哪些工具、IDE环境怎么配置、目前主流的AI模型各自有什么特点。这部分内容看似基础，但很多人做项目时栽跟头，往往就是因为环境没配好、工具选不对。
接下来是课程的理论核心。你会先认识多模态AI的工作流程——文字、图像、音频三种数据是怎么被AI同时接收和处理的。然后是动手环节：连接大语言模型的API，把大语言模型和向量数据库对接起来。课程同时讲解了Pinecone和Chroma两种主流向量数据库，让你了解它们的异同，根据自己的需求灵活选择。
在检索技术方面，课程从最基本的语义搜索讲起，再到元数据过滤，最后深入到多查询检索。这里有个关键点：前两种检索方式不涉及大语言模型，而多查询检索则需要AI参与，自动生成多个搜索查询，从而从数据库中召回更全面、更相关的信息。这个进阶过程体现了RAG技术的精髓，也是构建高质量AI系统的关键所在。
理论讲完了，重头戏是三个完整的实战项目。每个项目都覆盖了一个真实的业务场景，让你在动手过程中真正理解多模态AI的威力。
第一个项目是会议智能多模态AI助手。你会学到如何设置Mistral API密钥，把公司政策数据存入向量数据库，然后构建一个能处理会议记录文本、演示文稿幻灯片图像和会议录音的多模态系统。最终的成品会用Gradio搭建一个用户界面，你上传三类材料，AI就会自动输出会议摘要、关键决策和行动项。对于经常需要开会、整理纪要的职场人来说，这套系统的思路可以直接借鉴到自己的工作中。
第二个项目是房地产估值多模态AI助手。课程用Gemini API来实现。你可以把房产描述文本、房产图片、经纪人现场勘查的音频全部丢给这个系统，它会分析并生成房产概览，评估房屋状况，甚至分析市场行情和给出定价建议。房地产行业的从业者，或者对智能评估感兴趣的技术爱好者，都能从这个项目里获得启发。尤其是上下文工程的实现部分——如何让AI在处理多模态信息时保持连贯的逻辑和准确的判断——这是课程中非常实用的技术点。
第三个项目是食品质量检查多模态AI助手，用的是Groq API。你可以上传食品检查记录、拍摄食品图片、录入检查员现场观察的语音笔记，系统会自动生成质量概览、识别缺陷和潜在风险、给出合规性评分，最后还提供可操作的改进建议。这个项目特别适合关注食品安全合规、或者在质检领域工作的朋友。它的完整代码、提示词模板、所有素材文件都包含在课程里，你可以跟着一步步实现，也可以根据自己的业务需求做调整。
三个项目的实现流程几乎是一致的：先设置对应的API密钥，把领域数据存入向量数据库，然后构建多模态处理系统，最后用Gradio搭建用户友好的界面。课程这种"举一反三"的设计非常聪明——你学完第一个项目之后，后面两个项目做起来会越来越顺手。更重要的是，你掌握的是一套可复用的方法论，以后遇到任何需要处理多种数据类型的场景，都能照着这个思路来。
说到适合谁学这门课，如果你已经有一些Python基础，对大语言模型有基本了解，想深入学习RAG和上下文工程在实际项目中的应用，那这门课就是为你准备的。不需要你是AI专家，也不需要你有深厚的数学背景。课程会带你从连接API这种最基础的操作开始，一步步走到能独立完成复杂的多模态AI系统。AI应用开发者想要拓展技能树的，产品经理希望理解多模态AI能解决什么实际问题的，数据科学家想在RAG方向深耕的，都能从课程里找到自己需要的东西。
四个多小时的内容，21个视频，每个视频都配了中文字幕，代码文件、提示词模板、素材资源全都整理好可以直接下载。课程里讲到的API密钥设置、向量数据库配置、Gradio界面搭建，每一步都有详细的演示。你不用自己在黑暗中摸索，照着做就能把三个项目完整跑通。
学完这门课之后，你收获的不仅仅是三个能跑起来的项目。你会真正理解多模态AI的工作机制，掌握RAG技术从基础搜索到多查询检索的完整进阶路线，熟悉主流向量数据库的使用方法，还能在实际业务场景中灵活运用上下文工程来提升AI输出的质量。这些能力组合在一起，让你具备了独立设计和开发AI应用系统的实力。无论你将来是想在工作中引入AI提效，还是想开发自己的AI产品，这门课都会是一个扎实的起点。
多模态AI的时代已经来了，但真正能把技术落到实处的产品还不多。与其观望，不如动手做起来。打开第一个视频，从连接API开始，三个智能助手在等着你。