资源介绍
视频数量：115个
总时长：11小时13分
课程介绍：
递归语言模型与高级大模型架构
你或许遇到过这样的场景：模型号称能处理超长文档，论文里的速度也很漂亮，可换到自己的机器上，内存暴涨、响应变慢，答案还会漏掉关键信息。问题往往不在模型名字，而在于比较方法是否诚实，任务是否相同，指标是否真正对应业务需求。这门课不讲模糊的“先进模型更强”，而是带你亲手搭出测试台，用同一套规则检验不同架构，最终做出一份经得起追问的技术选型报告。
课程共12个章节、115个视频，总时长11小时13分。它把递归神经网络、递归语言模型、高效注意力、状态空间模型、混合架构、专家混合、外部记忆和RAG串成一条完整路线。最特别的地方，是几乎每讲理论都配实验，很多数字来自一台没有显卡、只有8个逻辑处理器和约15GB内存的普通电脑。你不必先租昂贵算力，CPU环境反而逼着你把延迟、内存和质量看明白。
一、搭建可信的实验场
第一节先教读论文和做公平比较。课程会拆解“递归”这个常被混用的词，区分树网络、循环深度和递归语言模型，并说明注意力为什么会撞上平方级计算成本，KV Cache又为什么可能吞掉大量内存。
你会拿到11份配套文档，包括论文主张核查清单、比较协议、CPU实验环境配置表、注意力与缓存计算工作表、结果日志模板和架构选择报告模板。随后亲手建立ArchLab仓库，安装CPU版PyTorch与Transformers，并固定依赖版本。仓库里的结果表从空白开始，此后每学完一种架构，都会多出有日志支撑的一行数据。课程还专门讲读论文时容易忽略的硬件、模型规模、训练设置和版本差异，避免把别人的成绩误当成自己的。
二、从零实现Transformer基线
第二节不直接调用现成模型，而是用PyTorch搭出一个小型解码器架构。你会处理字符级语料与训练验证集划分，编写自注意力模块，将结果与内置SDPA进行核对，再补上归一化、残差连接和因果掩码。
训练环节不只看损失下降，还会观察每秒训练步数、时间花在哪里，并计算损失、困惑度和每字符比特数。采样完成后，第一条基准数据被正式写入结果表。这一节的重点不是造出一个惊人的模型，而是建立所有人都必须跨越的起点：没有可靠基线，后面的架构对比只是印象。
三、递归网络与循环深度
第三节沿着递归的历史展开。从RAAM到递归神经张量网络，再到在语法树上使用门控的Tree-LSTM，你会看到递归与循环之间的区别。随后进入现代循环Transformer、通用Transformer的自适应深度，以及HRM、TRM这类让小网络反复迭代的思路。
实验部分会训练一个二叉树递归网络，让它处理简单算术表达式；再构建权重共享的循环Transformer，与基线在相同参数量下比较。递归深度究竟带来了什么，又额外付出了哪些计算成本，最终都有数据可查。
四、亲手构建递归语言模型
第四节是课程核心。你会接触长上下文中的“中间遗忘”现象，研读NIAH、RULER、Lost in the Middle和OOLONG等测试所揭示的问题，再理解RLM如何把超长提示词放入可编程环境，通过子调用逐步读取，而不是要求模型一次吞下全部内容。
课程会厘清RLM、RAG、ReAct与CodeAct的分工：长输入放在哪里，谁负责决定访问时机。实验要求你手动实现一个最小循环，包括根模型、Python REPL、llm_query与FINAL，再用Ollama的兼容接口连接本地模型。你将运行针藏在长文本中的任务，查看完整调用轨迹，并在长文档上比较分块子调用与单次长提示词。
这条路线并不轻松。课程会正面讨论成本翻倍、顺序调用延迟、FINAL环节脆弱以及REPL沙箱风险，并教你判断RLM何时真的比普通长提示词更合适。
五、让注意力更便宜
第五节比较稀疏注意力、低秩方法、核技巧、线性注意力和FlashAttention。你会亲手实现滑动窗口注意力与线性注意力层，观察上下文长度变化对内存和速度的影响，并在PyTorch中比较不同注意力后端。
MQA、GQA与多头潜在注意力也会进入视野。重点始终落在瓶颈上：如果问题是显存占用，就该研究缓存压缩；如果问题是序列变长后的计算量，才需要改变注意力计算方式。
六、状态空间模型与现代混合架构
第六节从连续系统与离散递归讲起，串联S4、H3、Hyena、Mamba及其后续版本。你会从零实现选择性SSM层，动手离散化、扫描和门控，比较顺序扫描与分块扫描的速度，并训练一个Mamba风格的小模型。
实验还会让Mamba-130m与Pythia-160m在相同数据、分词器和CPU条件下正面对比。第七节则转向RWKV、RetNet、Gated DeltaNet、Kimi Delta Attention，以及Jamba、Zamba、Falcon-H1等混合堆叠。重点不是押注某一种架构，而是学会按任务组合注意力与SSM层。
七、专家混合与路由健康度
第八节解释MoE如何在单个Token上只激活部分专家。课程涉及Top-k路由、容量限制、Token丢弃、负载均衡损失、专家选择和共享专家设计，还会分析DeepSeekMoE、Mixtral、OLMoE与Qwen MoE。
你将实现路由器与Top-2加权合并，训练时观察各专家负载，并故意制造路由塌缩，从日志中辨认问题。最后用Granite 3.1 1B-A400M观察真实MoE的路由选择，理解稀疏计算与完整显存占用之间的矛盾。
八、外部记忆、缓存与RAG管线
第九章把视线转向模型之外。神经图灵机、DNC、Transformer-XL、RMT和Titans之后，课程会用公式和实验拆解KV Cache的大小，并演示动态、静态、量化、裁剪等缓存管理方式。PagedAttention、注意力汇点和KV量化则从服务部署角度补全拼图。
第十节进入生产级RAG。你会实际比较固定、递归和句子感知分块，在CPU上选择嵌入模型，用FAISS对比Flat、HNSW和IVF索引，再通过BM25与稠密检索的倒数排名融合提高召回。交叉编码器重排、Recall@k、MRR、nDCG、引用生成与忠实性检查也都有对应实验。课程最后让RAG、RLM与长提示词处理同一批问题，看看复杂机制是否真的值得。
九、让数字说话
第十一节教你在相同数据、Token、参数、随机种子和每字节比特数下公平比较。困惑度、吞吐量、首Token延迟、内存峰值、长上下文位置效应和合成探针都会进入测试表。你还会使用lm-evaluation-harness运行小规模任务，并正确理解玩具实验无法说明什么。
最终 capstone 会让你用同一测试框架比较三种架构，写出完整的架构选择报告。课程还检查vLLM、llama.cpp与Transformers的现实支持情况，把训练成本、延迟、显存、上下文长度和成熟度放进同一张决策表。
学完以后，你不会只是多认识几个新模型名字，而是会拥有可复现的实验仓库、可靠的基线、填满数据的结果表和一套自己的判断方法。面对下一款号称更先进的大模型，你知道该看哪篇论文、该追问哪些条件，也知道如何在普通电脑上测出它究竟强在哪里、代价又是什么。