视频课程 人工智能

企业级大模型架构实战:从原型到可审计的生产系统 (英文课程中文字幕)

¥5.00 已售 0
✓ 自动发货 ✓ 永久有效 ✓ 售后保障

资源介绍

视频数量:35个 总时长:1小时39分 课程介绍: 企业级大模型架构实战:从原型到可审计的生产系统 一个人花三天做出个原型,效果惊艳,全组鼓掌。接着公司说,把它接进理赔系统吧,每年几百万张单子,要过合规审计,要控制成本,出了错得能解释清楚。这时候你会发现,之前那些让人兴奋的东西全用不上了,真正难的部分才刚开始。这门课讲的就是后面这件事:把模型从一个聪明的演示,变成一套公司敢用的系统。 课程一共35个视频,加起来1小时39分,每节都短,但密度很高。所有内容都围绕一个虚构的商业保险公司Halden Mutual展开,做的是理赔分诊——判断一张理赔单该走快速通道、该转人工、还是该先查一遍欺诈和制裁名单。这不是那种跑个hello world就结束的示例,它有真实的保单数据、经纪人、赔付规则、个人身份信息清单,还有一堆跑完留下的运行记录。整套东西是连贯的,你今天在这里调一个参数,明天那边的成本就会变。 一、先选形态,再谈技术 第一章先把最根本的问题问清楚:你需要的到底是一次调用、一条固定工作流、一个自主Agent,还是一个托管Agent?这四种形态没有优劣,只有合不合适。理赔分诊这种场景,答案不是拍脑袋想出来的,而是从准确性、可解释性、运维成本三方面权衡出来的。这一章用Halden Mutual的案例把权衡过程完整走了一遍,后面所有内容都建立在这个选择之上。 二、集成架构:接口就是合同 第二章讲的是模型怎么和你的系统对接。结构化输出不是"尽量返回JSON",它是一份合同,字段、类型、缺失值怎么处理,全得写死。工具是模型和你后端之间唯一的接触面,所以它的设计质量直接决定了系统能不能维护。还有几个特别容易被忽略的点:瞬时失败该在工具里重试还是在模型层重试,两者的后果完全不同;部分失败时系统要安全降级,并且明确告诉调用方"为什么没成";多租户场景下身份必须从会话里来,不能让模型自己说;附件里的内容永远不可信,得当成攻击面来处理。 三、上下文与成本:账单是设计出来的 第三章可能是最实在的一章。讲提示缓存时,课程做了个对照实验:同样的五条理赔单、同样的模型、同样的准则,只是把准则和单据的先后顺序调换一下,一组花了4.7美分,另一组花了8.9美分,工作量一样,答案一样,成本几乎翻倍。原因很简单,缓存按前缀工作,前面动一个字符,后面全部作废。 讲成本核算时更直接。SDK报出来一次调用1.37美分,按token数和公布价目表实算是0.17美分,差了八倍,因为SDK不认识这个型号,回退到了一个不对的费率。所以课里所有成本都从响应里的token计数自己算:输入、缓存写入、缓存读取、输出,各自乘对应单价。单次差几分钱无所谓,几百万次调用就不是小数目了。这一章还讲了等精度下的模型路由、哪些判断该交回给普通代码而不是模型、以及批处理和容量规划。 四、治理:审计员会问的那些问题 第四章的关键词是边界。数据最小化不是口号,是具体到哪些字段根本不该进提示。策略即代码讲的是把赔付规则写成可执行的钩子,让"能不能赔"这件事由代码而不是由模型的措辞决定。审计轨迹要记什么、记到什么粒度,课里有完整示范。还有一句值得抄下来的话:指令不是边界。写在提示里的"请不要做某事",是建议,不是约束,真正的约束得放在模型碰不到的地方。提示变更要有负责人和审批流程,数据驻留、保留期限和租户隔离也都有具体做法。 五、评估:一套什么都抓不到的测试集 第五章开头就讲了一个反例:某个评估集跑下来全绿,结果什么都没抓到,因为它太简单了。接着教你构建难集、把测试集挡在提示之外、用小样本做统计推断、校准LLM裁判、多跑几次看方差,最后是红队和"检查你的检查"。这一章的分量最重,因为它决定了你敢不敢把系统放出去。 六、生命周期与运维 第六章讲变更怎么管:架构决策记录怎么写、一次提示变更怎么发布、生产里怎么监控漂移、评估饱和之后怎么办。 七、三个收尾场景 最后一章用三个场景把前面所有内容串起来:第四家经纪商加入系统、在不损失精度的前提下砍掉账单、以及准备认证考试。课程本身是独立的,不隶属于Anthropic,也不假装押题,但会把已公布的认证范围、考试形式、报名路径这些事实讲清楚。 这门课适合的人很具体:正在把大模型从试验推向生产环境的架构师和平台工程师,要为大模型项目过合规评审的技术负责人,被token账单和准确率同时追着跑的团队骨干。如果你只是想知道怎么写提示词,这里可能太重;但如果你手上已经有一套要上线的系统,正卡在成本、审计或者评估这三关中的某一关,那这门课基本是照着你的问题设计的。学完之后,你手里会有一套能跑、能算账、能解释、能交付审计的完整架构。