资源介绍
视频数量：12个
总时长：3小时6分
课程介绍：
Google Cloud专业数据工程师认证备考课
数据工程师这个角色，最近两年在企业里变得格外吃香。越来越多的业务决策要靠数据说话，而把这些数据从各个角落收集起来、清洗干净、变成可以分析的东西，再交给算法和BI工具去用——整条链路上需要的，就是数据工程师。而Google Cloud的Professional Data Engineer认证，是业内公认的硬通货之一，它考的不是简单的概念背诵，而是真实的工程决策能力：给你一个业务场景，你要能在Cloud SQL、BigQuery、Bigtable、Spanner这些服务里选对存储方案，要能把流式数据和批量数据都处理好，还要考虑安全、监控、成本控制。这门课就是为这场考试量身打造的备考课，三个小时出头，十二个章节，把考试涉及的核心知识点一节一节拆开来讲。
一、存储与处理架构的选择逻辑
考试里出现频率最高的一组服务是Cloud SQL、BigQuery、Bigtable、Spanner和Firestore，它们各自回答的是不同的问题。课程第一节就从决策矩阵入手，教你通过三个关键问题来判断：工作负载是事务性还是分析性的？数据规模有多大？是否需要全局一致性？Cloud SQL适合几TB以内的传统关系型OLTP场景，比如电商订单系统；BigQuery是分析型数据仓库，专为扫海量数据做聚合而设计；Bigtable处理大规模宽列读写；Spanner解决全球分布式强一致性问题。这一节还会告诉你一个考试常见陷阱：题目不会直接写OLTP或OLAP，而是藏在业务场景描述里，你得学会从细节中判断。
二、数据转换工具与治理设计
拿到数据之后怎么转换、怎么保证数据质量？这涉及到工具选型问题。课程会讲解各种转换工具的适用场景，比如哪些场景用Dataflow更合适，哪些场景Dataproc更经济，同时还会讲数据治理的基本思路，包括元数据管理、数据血缘追踪、数据质量校验这些实际工程中绕不开的话题。考试喜欢在这一块设置一些"看似简单实则暗藏玄机"的题目，学完这一节你会对工具选择有更清晰的判断标准。
三、流式数据接入
实时数据处理是考试的重头戏。Pub/Sub配合Dataflow是Google Cloud流式数据处理的经典组合，课程会用实际案例讲清楚Pub/Sub如何做消息队列、Dataflow如何用Apache Beam做流批一体的处理。重点在于理解窗口、水位线、迟到数据处理这些流式计算的核心概念，以及什么时候该用流、什么时候批就够了。
四、批量ETL与Dataproc
和流式处理对应的是批量处理。课程会覆盖Dataproc的使用场景，包括Hadoop和Spark作业在Google Cloud上的运行方式，还会讲到变更数据捕获（CDC）的概念和实现思路。这一节特别强调成本意识——考试经常会考你如何在满足需求的前提下选择最经济的方案。
五、编排与数据集成工具
Cloud Composer是基于Airflow的托管编排服务，适合复杂的多步骤DAG调度；而Data Fusion是可视化数据集成工具，Dataform则专注于SQL层面的数据建模转换。课程会帮你搞清楚这几个工具各自的定位和使用场景，避免考试时被"该选哪个"的问题绕晕。同时也会强调一个常见误区：如果需求只是定时跑一条SQL查询，根本不需要上Composer，计划查询就够了，过度设计是考试中的扣分项。
六、BigQuery深度优化
BigQuery是考试中的绝对核心。课程会专门讲BigQuery的存储优化策略，包括分区表、聚簇表的使用，查询性能的调优，以及如何控制扫描成本。你会了解到列式存储的底层原理、物化视图的作用、BI Engine的适用场景，这些都是考试中经常出现的考点。
七、分布式数据库选型
Bigtable、Spanner、Cloud SQL和Cloud Storage这四个服务各有侧重。Bigtable适合IoT和时序数据，Spanner擅长全球分布式事务，Cloud SQL是传统关系型数据库的托管方案，Cloud Storage则是对象存储的基础设施。课程会用对比的方式帮你建立清晰的选型框架。
八、机器学习平台选择
BigQuery ML和Vertex AI都能做机器学习，但定位完全不同。BigQuery ML让数据分析师直接在SQL里跑模型，简单场景够用；Vertex AI则是完整的MLOps平台，适合复杂模型的训练、调优和部署。考试会考你根据团队能力和项目复杂度来做出合理选择。
九、商业智能与数据共享
Looker、Looker Studio以及BigQuery的数据共享功能构成了Google Cloud的BI生态。课程会讲解如何搭建有效的数据可视化方案，以及如何在组织内外安全地共享数据集。
十、运维监控与生产环境管理
Cloud Scheduler、Cloud Monitoring、Cloud Logging这些工具在生产环境中必不可少。课程会讲清楚如何监控数据管道的健康状况，如何设置告警，以及如何处理常见的故障场景。
十一、安全与合规
IAM角色管理是考试的重点之一。课程会深入讲解基础角色、预定义角色和自定义角色的区别，特别强调最小权限原则的实际应用。你会学到如何在数据集级别而非项目级别授权，如何管理服务账号密钥，以及加密、审计日志等安全机制的正确配置方式。
十二、全真模拟与应试策略
最后一节是两套完整的模拟考试和应试技巧分享。课程会总结考试中的常见陷阱，比如容易混淆的概念、容易过度设计的场景，还会教你怎么控制答题节奏、怎么标记不确定的题目回头检查。
这门课适合已经有一定Google Cloud基础，想要系统备考Professional Data Engineer认证的工程师和数据从业者。课程节奏紧凑，没有废话，每个知识点都直指考试要点。学完之后，你不仅能更有把握地通过考试，更重要的是，对数据工程全链路的技术选型会有更深入的理解——这比一张证书本身更有价值。