资源介绍
视频数量：105个
总时长：15小时31分
课程介绍：
Python网页爬虫实战：从零基础到Scrapy高手
你有没有遇到过这种时刻：想分析某个电商网站的价格走势，想抓取招聘网站的职位信息，想把论坛里某个板块的帖子全部存到本地做研究，但面对海量网页，手动复制粘贴显然不现实。网页爬虫就是解决这类问题的利器，而Scrapy正是Python生态中最专业的爬虫框架。这门课由拥有二十多年IT从业经验的工程师Mirko Barrazzani讲授，总共105节，时长超过15个小时，会带你从最基础的Python语法一路走到企业级的爬虫部署，课程还内置了中文简体字幕，听起来毫无障碍。
一、Python基础打底
课程的前半段专门为编程新手设计。第一章介绍什么是网页爬虫，以及它在商业分析和数据采集中的实际价值。第二章手把手教你安装Python解释器和Visual Studio Code编辑器，包括Windows、Mac和Linux三个平台的差异都考虑到了，虚拟环境的配置、扩展插件的推荐、代码注释规范这些细节也都有覆盖。
进入第三章，你将系统学习Python的核心编程概念：变量与常量、字符串处理及转义字符、if条件判断的各种嵌套形式、for和while循环的使用场景、函数的定义和参数传递、变量作用域、递归函数等。这部分不是枯燥的语法罗列，而是通过大量小例子让你理解每种结构什么时候用、怎么用最顺手。
第四章讲解Python的数据结构。列表是最常用的容器，从定义、索引访问到各种增删改查操作，再到列表相关的内置函数，都会逐一演示。元组和表格的区别、集合的去重特性、字典的键值对操作，这些内容配合实际代码片段，学完就能上手写东西。第五章是面向对象编程的基础，包括类和对象的概念、继承机制、面向对象的思维方式，帮你在后面阅读Scrapy源码时不犯怵。
二、Scrapy框架实战
第六章开始正式接触Scrapy。你会先配置好VSCode里的项目环境，了解Scrapy项目每个文件的作用，然后从一个经典的书籍网站案例入手，学习如何编写第一条爬取规则。课程的演示从首页开始，逐步扩展到翻页抓取，最后深入到商品详情页，把标题、价格、评分等字段一个个抽取出来。这部分是整个课程的精华之一，因为很多初学者卡在XPath和CSS选择器的使用上，课程会通过对比两种不同的代码编写思路帮你建立直觉。
第七章讲Items和Pipelines。Item相当于给爬取的数据定义一个结构化的容器，Pipelines则是处理数据的流水线，从清洗到验证再到存储，都能在这里完成。第八章更进一步，把数据写入数据库。课程选择了SQLite作为入门工具，从数据库的基本逻辑讲起，教你创建表、查询记录、更新数据、删除记录，最后把所有SQL操作封装成一个独立的库，方便在Scrapy项目里调用。这样爬下来的数据就不再是散乱的JSON文件，而是可以随时检索的关系型数据。
三、反爬对抗与高级部署
第九章和第十章是课程的技术亮点。第九章讨论User Agent和Request Header的伪装，手动修改和使用scrapeOps这类第三方服务的两种方案都会演示，这直接关系到你的爬虫能不能绕过网站的基础反爬机制。第十章讲IP代理轮换，免费代理列表的获取方式、第三方API的接入方法、middleware的编写细节，配合代码文件一起讲解，你能看到完整的配置流程。
第十一章把视野拉到云端。课程会演示如何在DigitalOcean上创建虚拟机，如何生成SSH密钥对（Windows、Mac、Linux各有对应教程），如何把本地仓库推送到GitHub，再克隆到云端服务器。scrapeOps云服务器的搭建和SDK的安装配置都有详细步骤，最后还会介绍Scrapyd和Scrapy Cloud这两个替代方案，帮助你根据需求选择最合适的部署方式。这一章还附带了大量扩展资源链接，包括Scrapy与Selenium、Puppeteer结合使用的GitHub仓库，以及多个用于练习的网站推荐。
四、数据处理加分项
第十二章是额外的Pandas专题。虽然不是爬虫的核心技能，但数据爬下来之后总要做分析，Pandas就是最趁手的工具。课程从框架介绍讲起，包括数据集和CSV文件的读取、环境的安装配置、Pandas的核心数据结构、常用的数据操作方法，最后还有进阶内容的指引。如果你以后想用爬虫数据做机器学习或者商业分析，这章能帮你把数据处理的短板补上。
学完这门课程，你将具备独立设计和实现一个完整爬虫项目的能力：从需求分析、规则编写、数据提取清洗，到数据库存储和云端部署，每个环节都有实操经验。课程适合零编程基础的初学者，也适合有一定Python基础但想系统学习Scrapy的开发者，以及对数据采集感兴趣的产品经理和运营人员。