资源介绍
视频数量：21个
总时长：4小时6分
课程介绍：
PySpark大数据分析与ETL管道设计实战
你有没有过这样的经历：手头有一堆数据，可能是CSV格式的，也可能是JSON文件，分散在好几个地方，需要把它们整合起来，清理干净，再存到数据库里，最后还得做点分析或者训练个模型？听起来是不是既繁琐又有点无从下手？尤其当数据量大到Excel根本打不开的时候，传统工具就完全派不上用场了。
这门课就是来解决这个问题的。课程围绕PySpark展开，从最基础的概念讲起，一步步带你搭建完整的大数据分析和ETL管道。整个课程大约4个多小时，21个视频，内容安排得很紧凑，每一节都配有可以跟着操作的代码文件，学完就能直接在工作中用上。
一、PySpark基础操作：
课程的前半段会先帮你打好基础。你会学到怎么创建Spark DataFrame，怎么加载CSV文件，以及如何转换数据类型，比如把字符串类型的日期转成真正的日期格式，把数字字段从一种类型转成另一种类型。这些听起来简单，但它们是后面所有操作的地基，如果类型不对，后续的聚合和计算都会出问题。DataFrame操作部分会详细讲解列的选择、数据的过滤和排序，这些都是你每天跟数据打交道时最高频的操作。课程的讲解方式很接地气，老师会带着你在Jupyter Notebook里一行一行写代码，每写一段就运行看看结果，出了什么问题也会当场解决，不会有那种代码突然就写好了的跳脱感。
数据清洗往往是数据分析中最耗时间的部分。课程会教你如何处理缺失值，是用平均值填充还是直接删除行，这一块有很多实战经验可以学。怎么识别和删除重复数据，在面对脏数据时这些技能几乎每天都会用到。数据分区和性能优化部分会解释为什么大数据处理时速度会变慢，以及如何通过合理的分区策略让程序跑得更快。数据转换和聚合操作则涵盖了groupBy、count、sum、avg、max、min等常用函数的用法，还有round函数来处理小数精度。最后，join和union操作会让你掌握如何把多个数据集拼接到一起，内连接、左连接、外连接的区别会通过具体的例子讲得很清楚。
二、航班数据分析ETL项目实战：
学完基础之后，课程会带你做一个完整的ETL管道项目，项目数据是航班分析相关的。数据来自三个不同的来源：航班记录的CSV文件、机场信息的CSV文件，还有飞机规格的JSON文件。你会先学会如何从这些不同格式的数据源中提取数据，然后用PySpark进行复杂的转换操作，比如根据到达时间和出发时间计算航班时长这样的计算逻辑，还会添加一些衍生列来支持后续分析。转换完成之后，数据会被加载到SQLite数据库中，整个ETL流程就跑通了。做完这个项目，你会对ETL的三个阶段——Extract、Transform、Load——有非常具体的认识。
三、SparkSQL与机器学习拓展：
除了ETL管道，课程还拓展了两个方向。第一个是用SparkSQL分析物流数据，SparkSQL让你可以用熟悉的SQL语法来查询Spark中的数据，对于有SQL背景的人来说非常友好，你可以像写普通SQL一样写Spark查询。第二个方向是使用MLlib构建机器学习模型，具体案例是用餐厅的历史数据来预测营收。MLlib是Spark自带的机器学习库，学完这部分你就能在分布式环境下训练模型了，包括数据预处理、特征工程、模型训练和评估这些完整的流程。
四、Databricks云平台实战：
课程还介绍了Databricks这个云平台的使用。你会学到如何设置Databricks工作环境，加载体育分析数据，然后在这个平台上分析足球运动员的表现数据。Databricks现在是大数据分析领域非常流行的工具，很多公司都在用，提前掌握它对找工作很有帮助，也能让你接触到云端数据处理的工作方式。
五、能源消耗数据ETL练习：
在课程的末尾，还有一个关于能源消耗数据的ETL练习项目。和航班项目类似，你需要完成从数据提取、转换到加载的全流程。你可以把这个当作一次综合演练，把前面学到的ETL技能再巩固一遍，同时处理一个不同领域的数据，锻炼举一反三的能力。
六、适合谁来学：
如果你是数据分析师、数据工程师，或者正在往这个方向转的程序员，这门课都很适合。最好有一点Python基础，知道变量、函数、循环这些概念就够用了，不需要事先接触过Spark或者大数据框架。有数据库的基本概念会更有帮助，但课程里涉及的SQLite操作并不复杂，没有相关经验也能跟上。对于正在准备面试、想要在简历上加上大数据项目经验的人来说，这门课的几个实战项目可以直接拿来用。
学完这门课之后，你能够独立设计并实现一个完整的ETL管道，从数据提取、清洗转换到加载入库，每一步都心中有数。你也会掌握PySpark的核心API，了解如何在本地和Databricks上处理数据，甚至能够上手做一些简单的机器学习任务。这些技能在大数据相关的工作中非常实用，无论是面试还是实际项目，都能派上用场。