Google Cloud
使用数据流进行无服务器数据处理:开发管道

Unlock access to 10,000+ courses with Coursera Plus

Google Cloud

使用数据流进行无服务器数据处理:开发管道

本课程是多个项目的一部分。

4,465 人已注册

包含在 Coursera Plus

深入了解一个主题并学习基础知识。
4.0

(43 条评论)

高级设置 等级
面向相关领域的从业人员而设计
3 周 完成
在 10 小时 一周
灵活的计划
自行安排学习进度
深入了解一个主题并学习基础知识。
4.0

(43 条评论)

高级设置 等级
面向相关领域的从业人员而设计
3 周 完成
在 10 小时 一周
灵活的计划
自行安排学习进度

您将学到什么

  • 回顾 "Google Cloud 上的数据工程 "课程中涉及的 Apache Beam 主要概念

  • 回顾 DE 中涉及的核心流概念(无界 PCollections、窗口、水印和触发器)

  • 为数据流流水线选择和调整 I/O

  • 使用模式简化 Beam 代码并提高管道性能

要了解的详细信息

可分享的证书

添加到您的领英档案

作业

8 项作业

授课语言:英语(English)

了解顶级公司的员工如何掌握热门技能

Petrobras, TATA, Danone, Capgemini, P&G 和 L'Oreal 的徽标

积累特定领域的专业知识

此课程作为 的一部分提供
在注册此课程时,您还需要选择一个特定的合作项目。
  • 向行业专家学习新概念
  • 获得对主题或工具的基础理解
  • 通过实践项目培养工作相关技能
  • 获得可共享的职业证书

该课程共有10个模块

本模块介绍课程和课程大纲

涵盖的内容

1个视频1篇阅读材料

回顾 Apache Beam 的主要概念,以及如何应用这些概念编写自己的数据处理管道。

涵盖的内容

4个视频1篇阅读材料1个作业2个应用程序项目

在本 Modulation 中,您将学习如何使用 Dataflow 以流式方式处理数据。为此,您需要学习三个主要概念:如何在窗口中分组数据;水印的重要性在于了解窗口何时准备好产生结果;以及如何控制窗口何时以及多少次发出输出。

涵盖的内容

3个视频1篇阅读材料1个作业4个应用程序项目

在本模块中,您将了解什么是数据流中的源和汇。Modulation 将举例说明 TextIO、FileIO、BigQueryIO、PubsubIO、KafKaIO、BigtableIO、AvroIO 和 Splittable DoFn。Modulation 还将指出与每种 I/O 相关的一些有用功能。

涵盖的内容

8个视频1篇阅读材料1个作业

本模块将介绍模式,它为开发人员提供了一种在 Beam 管道中表达结构化数据的方法。

涵盖的内容

2个视频1篇阅读材料1个作业2个应用程序项目

本 Modulation 将介绍状态和定时器这两个功能强大的特性,您可以在 DoFn 中使用这两个特性来实现有状态的 Transformer。

涵盖的内容

3个视频1篇阅读材料1个作业

本模块将讨论最佳实践,并回顾可最大限度提高数据流管道性能的常见模式。

涵盖的内容

7个视频1篇阅读材料1个作业2个应用程序项目

该 Modulation 引入了两个新的 API,用于在 Beam 中表示您的业务逻辑:SQL 和 Dataframes。

涵盖的内容

3个视频1篇阅读材料1个作业1个应用程序项目

本模块将介绍 Beam Notebook,这是一个供 Python 开发人员加入 Beam SDK 并在 Jupyter Notebook 环境中迭代开发管道的接口。

涵盖的内容

1个视频1篇阅读材料1个作业

本 Module 提供课程回顾

涵盖的内容

1个视频

获得职业证书

将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。

位教师

授课教师评分
3.1 (11个评价)
Google Cloud Training
Google Cloud
2,016 门课程3,750,570 名学生

提供方

Google Cloud

从 数据分析 浏览更多内容

人们为什么选择 Coursera 来帮助自己实现职业发展

Felipe M.
自 2018开始学习的学生
''能够按照自己的速度和节奏学习课程是一次很棒的经历。只要符合自己的时间表和心情,我就可以学习。'
Jennifer J.
自 2020开始学习的学生
''我直接将从课程中学到的概念和技能应用到一个令人兴奋的新工作项目中。'
Larry W.
自 2021开始学习的学生
''如果我的大学不提供我需要的主题课程,Coursera 便是最好的去处之一。'
Chaitanya A.
''学习不仅仅是在工作中做的更好:它远不止于此。Coursera 让我无限制地学习。'

学生评论

4.0

43 条评论

  • 5 stars

    51.16%

  • 4 stars

    18.60%

  • 3 stars

    18.60%

  • 2 stars

    0%

  • 1 star

    11.62%

显示 3/43 个

AV
5

已于 Jun 23, 2021审阅

Coursera Plus

通过 Coursera Plus 开启新生涯

无限制访问 10,000+ 世界一流的课程、实践项目和就业就绪证书课程 - 所有这些都包含在您的订阅中

通过在线学位推动您的职业生涯

获取世界一流大学的学位 - 100% 在线

加入超过 3400 家选择 Coursera for Business 的全球公司

提升员工的技能,使其在数字经济中脱颖而出

常见问题