在本中级课程中，您将学习在 Google Cloud 上设计、构建和优化强大的 Batch 数据管道。除了基本的数据处理之外，您还将探索大规模数据转换和高效的工作流协调，这对及时的 Business Intelligence 和关键报告至关重要。 使用 Apache Beam 的 Dataflow 和 Apache Spark 的 Serverless（Dataproc Serverless）进行实施，并解决数据质量、监控和警报方面的重要问题，以确保管道的可靠性和卓越运营。建议具备数据 Warehhouse、ETL/ELT、SQL、Python 和 Google Cloud 概念的基础知识。
在 Google Cloud 上构建批量数据管道
您将学到什么
确定 Batch 数据管道是否是您的业务用例的正确选择。
设计和构建可扩展的 Batch 数据管道，以实现大容量数据的摄取和 Transformer。
在 Batch 管道内实施数据质量控制，确保数据完整性。
协调、管理和监控 Batch 数据管道 Workflow，使用日志和监控工具实施错误处理和可观察性。
要了解的详细信息
可分享的证书
添加到您的领英档案
作业
5 项作业
授课语言：英语（English）
了解顶级公司的员工如何掌握热门技能
积累特定领域的专业知识
此课程作为 的一部分提供
在注册此课程时，您还需要选择一个特定的合作项目。
- 向行业专家学习新概念
- 获得对主题或工具的基础理解
- 通过实践项目培养工作相关技能
- 获得可共享的职业证书
该课程共有4个模块
您将学习数据工程师在开发和维护 Batch 数据管道中的关键作用，了解其核心组件和生命周期，并分析批量数据处理中的常见挑战。您还将确定应对这些挑战的关键 Google Cloud 服务。
涵盖的内容
1个作业2个插件
您将设计可扩展的批处理数据管道，用于大容量数据的摄取和 Transformer。您还将使用各种资源管理和性能调整技术优化批处理作业，以实现高吞吐量和成本效益。
涵盖的内容
1个作业2个应用程序项目7个插件
您将开发数据 Validation 规则和清理逻辑，以确保批处理管道中的数据质量。您还将实施管理模式演变的策略，并在大型数据集中执行重复数据删除。
涵盖的内容
1个作业1个应用程序项目6个插件
您将协调复杂的批量数据管道工作流，以实现高效的调度和线程跟踪。您还将为 Batch 数据管道实现强大的错误处理、监控和可观察性。
涵盖的内容
2个作业1个应用程序项目6个插件
获得职业证书
将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。
位教师
授课教师评分
4.6 (251个评价)
提供方
从 云计算 浏览更多内容
Google Cloud
状态：免费试用
Google Cloud
状态：免费试用Google Cloud
人们为什么选择 Coursera 来帮助自己实现职业发展
Felipe M.
自 2018开始学习的学生
''能够按照自己的速度和节奏学习课程是一次很棒的经历。只要符合自己的时间表和心情，我就可以学习。'
Jennifer J.
自 2020开始学习的学生
''我直接将从课程中学到的概念和技能应用到一个令人兴奋的新工作项目中。'
Larry W.
自 2021开始学习的学生
''如果我的大学不提供我需要的主题课程，Coursera 便是最好的去处之一。'
Chaitanya A.
''学习不仅仅是在工作中做的更好：它远不止于此。Coursera 让我无限制地学习。'
学生评论
4.5
1,710 条评论
- 5 stars
65.96%
- 4 stars
25.73%
- 3 stars
6.02%
- 2 stars
1.46%
- 1 star
0.81%
显示 3/1710 个
UB
5
已于 May 27, 2020审阅
A great course to help understand the various wonderful options Google Cloud has to offer to move on-premise Hadoop workload to Google Cloud Platform to leverage scalability of clusters.
MP
5
已于 May 19, 2020审阅
Great course teaching how to build batch pipelines through GCP technologies, and showing cool tools for data wrangling and analysis
SV
5
已于 Jun 18, 2020审阅
Excellent course with appropriate explanation on cloud data fusion, data composer, data proc and cloud data-flow. Must learn course for all aspiring Big Data Engineers.
常见问题
是的，您可以在注册前预览第一个视频并查看教学大纲。 您必须购买课程才能访问预览中未包含的内容。
如果您决定在课程开始日期前注册课程，您将可以访问课程的所有讲座视频和阅读内容。课程开始后，您就可以提交作业了。
一旦注册并开始学习，您就可以访问所有视频和其他资源，包括阅读项目和课程讨论区。您可以查看和提交练习评估，完成规定的分级作业，以获得成绩和课程证书。
更多问题
提供助学金，