使用 Python 和 SQL 编写数据工程脚本

Duke University

使用 Python 和 SQL 编写数据工程脚本

本课程是数据工程的 Python、Bash 和 SQL 要素专项课程的一部分

Kennedy Behrman

Noah Gift

位教师：Alfredo Deza

15,161 人已注册

包含在 Coursera Plus 中

了解更多

深入了解一个主题并学习基础知识。

4.4

（104 条评论）

中级等级

推荐体验

2 周完成

在 10 小时一周

灵活的计划

自行安排学习进度

深入了解一个主题并学习基础知识。

4.4

（104 条评论）

中级等级

推荐体验

2 周完成

在 10 小时一周

灵活的计划

自行安排学习进度

您将学到什么

从不同来源提取数据，并将其映射到 Python 数据结构。
设计脚本，在 Python 中连接和查询 SQL 数据库。
应用刮擦技术从网站读取和提取数据。

您将获得的技能

要了解的详细信息

可分享的证书

添加到您的领英档案

作业

5 项作业

授课语言：英语（English）

了解顶级公司的员工如何掌握热门技能

了解关于 Coursera for Business 的更多信息

Petrobras, TATA, Danone, Capgemini, P&G 和 L'Oreal 的徽标

积累特定领域的专业知识

本课程是数据工程的 Python、Bash 和 SQL 要素专项课程专项课程的一部分

在注册此课程时，您还会同时注册此专项课程。

向行业专家学习新概念
获得对主题或工具的基础理解
通过实践项目培养工作相关技能
获得可共享的职业证书

该课程共有4个模块

在数据工程专业 Python、Bash 和 SQL Essentials 的第三课中，您将学习如何有效地使用 Python 和 SQL。我们将学习 Python 脚本中有用的数据结构，并连接到 MySQL 等数据库。此外，您还将学习如何使用现代文本编辑器连接和运行针对真实数据库的 SQL 查询，执行加载和提取数据的操作。最后，您将使用刮擦技术从网站上提取数据。这些技能将使您能够在没有现成数据或需要空间查询以从数据库中提取有用信息时有效地工作。

在本模块中，您将学习如何有效地使用 Python 的数据结构来加载、持久化和迭代数据。在处理 JSON 等流行数据格式时，您将应用这些数据结构来解决不同的问题。

涵盖的内容

19个视频9篇阅读材料2个作业1个讨论话题2个非评分实验室

19个视频总计62分钟

欢迎访问数据工程中的 Python 和 SQL 脚本编程0分钟
认识您的课程讲师阿尔弗雷多-德萨0分钟
关键概念概述4分钟
用 Python 处理数据入门0分钟
Python 数据结构入门0分钟
在 Python 中使用列表保存和检索数据5分钟
在 Python 中使用字典保存和检索数据7分钟
Python 中不常用的数据结构概述4分钟
Python 数据结构概述1分钟
Python 数据结构选择入门1分钟
用 Python 遍历列表和字典7分钟
用 Python 遍历其他数据结构2分钟
在 Python 数据结构之间存储数据6分钟
回顾 Python 中的数据结构映射1分钟
Python 数据源和格式介绍0分钟
用 Python 从文件和文件路径加载数据6分钟
用 Python 处理 JSON6分钟
将数据从 Python 保存到磁盘4分钟
回顾 Python 中数据的持久化和加载0分钟

9篇阅读材料总计90分钟

与教师联系10分钟
认识你们的支持讲师肯尼迪-贝尔曼和诺亚-吉夫特10分钟
课程结构和讨论礼仪10分钟
报告课程问题10分钟
关键术语10分钟
Python 列表和字典10分钟
关键术语10分钟
关键术语10分钟
创建一个可将数据重新格式化为 JSON 的笔记本10分钟

2个作业总计60分钟

在 Python 中使用数据结构30分钟
用 Python 处理数据30分钟

1个讨论话题总计10分钟

见面会（可选）10分钟

2个非评分实验室总计120分钟

在 Python 中循环使用列表和字典60分钟
加载和保存 JSON 文件60分钟

在本 Modulation 中，您将学习如何使用 Python 脚本技术来处理 SQL。您将创建一个数据库，存储数据，并从 Python 使用 SQL 查询这些数据。

涵盖的内容

15个视频7篇阅读材料1个作业3个非评分实验室

15个视频总计56分钟

Python 脚本和 SQL 简介0分钟
Python 脚本入门0分钟
用 Python 创建模块脚本5分钟
用 Python 脚本遍历文件系统7分钟
Python 脚本基础知识回顾0分钟
嵌入式数据库简介0分钟
什么是 SQLite？2分钟
用 Python 创建并连接 SQLite 数据库5分钟
用 Python 保存和查询 SQLite 数据库10分钟
SQLite 和 Python 简要介绍1分钟
用 Python 查询 SQL 简介1分钟
Python 中的基本 SQL 命令6分钟
在 Python 中使用 SQL 提取不同数据7分钟
在 Python 中使用 SQL 进行搜索5分钟
用 Python 查询 SQL 简要介绍1分钟

7篇阅读材料总计70分钟

关键术语10分钟
极简 Python，第 2 章：学习存储数据10分钟
关键术语10分钟
GitHub 仓库示例10分钟
关键术语10分钟
GitHub 仓库示例10分钟
创建文件大小报告脚本10分钟

1个作业总计30分钟

Python 脚本和 SQL30分钟

3个非评分实验室总计180分钟

创建查找大文件的脚本60分钟
创建 SQLite 数据库并存储数据60分钟
查询 SQLite 数据库60分钟

在本 Modulation 中，您将学习如何高效地从网络中提取数据。你将学习如何使用刮库从网站读取数据，并从中识别和提取特定值。

涵盖的内容

15个视频7篇阅读材料1个作业2个非评分实验室

15个视频总计64分钟

使用 Python 进行网络抓取入门0分钟
从非结构化 HTML 中提取数据简介1分钟
网络数据的挑战3分钟
用 Python 中的 HTMLParser 解析 HTML5分钟
Python 中的网络抓取技术回顾0分钟
Python 中的 Scrapy 和 XPath 简介1分钟
用 Python 中的 Scrapy 创建网络抓取项目6分钟
使用 XPath 和 Scrapy Shell 解析数据11分钟
使用 Scrapy Spider 进行网络抓取5分钟
简要介绍 Python 中的 Scrapy 和 XPath0分钟
网络搜索挑战概述2分钟
本地搜索8分钟
以 CSV 和 JSON 格式持久化数据9分钟
将数据持久化到 SQLite 数据库中6分钟
网络搜索的持久性和有效性回顾1分钟

7篇阅读材料总计70分钟

关键术语10分钟
使用 HTMLParser 的解析技术10分钟
关键术语10分钟
代码空间实验室使用 Scrapy 和 XPath 解析 HTML10分钟
关键术语10分钟
高效扫描技术10分钟
构建网络抓取工具10分钟

1个作业总计30分钟

使用 Python 进行网络抓取30分钟

2个非评分实验室总计120分钟

使用 HTMLParser 解析 HTML60分钟
解析 HTML 并将其持久化到 SQLite 数据库中60分钟

在本 Modulation 中，您将学习如何使用现代开发环境和编辑器连接到 MySQL 数据库服务器、执行 Query 和执行数据库操作。

涵盖的内容

18个视频8篇阅读材料1个作业5个非评分实验室

18个视频总计69分钟

使用 MySQL 简介0分钟
使用 MySQL 的 VSCode 简介1分钟
连接到 MySQL 服务器8分钟
使用 MySQL 的 VSCode 简要介绍1分钟
运行 MySQL 查询所面临的挑战1分钟
使用 VSCode 执行 MySQL 查询6分钟
运行 MySQL 查询的回顾1分钟
导入数据库的挑战1分钟
将 CSV 数据导入 MySQL6分钟
从 MySQL 导出数据6分钟
MySQL 导入和导出数据概述1分钟
MySQL 黑客概述2分钟
从终端访问 MySQL3分钟
归档和删除数据库5分钟
导入外部数据库 Sakila7分钟
修改数据库 Sakila4分钟
使用 MySQL 的 Bash 管道5分钟
MySQL 转 Python 标准库 Web Server4分钟

8篇阅读材料总计80分钟

关键术语10分钟
关键术语10分钟
使用 VSCode 和 MySQL10分钟
关键术语10分钟
课程反思10分钟
使用 MySQL 加载和导出数据10分钟
下一步工作10分钟
分享您的学习经验10分钟

1个作业总计30分钟

使用 MySQL30分钟

5个非评分实验室总计300分钟

连接运行中的 MySQL 服务器60分钟
运行查询存储库60分钟
在 MySQL 中导出和导入数据60分钟
使用 MySQL 的 Linux 黑客60分钟
MySQL Sandbox60分钟

获得职业证书

将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。

位教师

授课教师评分

4.3 (13个评价)

Duke University

29 门课程152,686 名学生

提供方

Duke University

从数据分析浏览更多内容

状态：免费试用
Duke University
Python, Bash and SQL Essentials for Data Engineering
专项课程
状态：免费试用
Edureka
Applied Data Analytics with Python and SQL
课程
状态：免费试用
IBM
Databases and SQL for Data Science with Python
课程
状态：免费试用
Duke University
Python and Pandas for Data Engineering
课程

人们为什么选择 Coursera 来帮助自己实现职业发展

Felipe M.

自 2018开始学习的学生

''能够按照自己的速度和节奏学习课程是一次很棒的经历。只要符合自己的时间表和心情，我就可以学习。'

Jennifer J.

自 2020开始学习的学生

''我直接将从课程中学到的概念和技能应用到一个令人兴奋的新工作项目中。'

Larry W.

自 2021开始学习的学生

''如果我的大学不提供我需要的主题课程，Coursera 便是最好的去处之一。'

Chaitanya A.

''学习不仅仅是在工作中做的更好：它远不止于此。Coursera 让我无限制地学习。'

学生评论

4.4

104 条评论

5 stars
64.42%
4 stars
21.15%
3 stars
6.73%
2 stars
1.92%
1 star
5.76%

显示 3/104 个

CQ

5

已于 Oct 20, 2022审阅

Covered great Python. data engineering techniques as well as using SQLite and MySQL in VSCode

MB

5

已于 Aug 28, 2022审阅

This provides the essentials of data engineering and analysis.

PB

4

已于 May 25, 2023审阅

Training is clear and interactive and labs are good

查看更多评论

Coursera Plus

通过 Coursera Plus 开启新生涯

无限制访问 10,000+ 世界一流的课程、实践项目和就业就绪证书课程 - 所有这些都包含在您的订阅中

通过在线学位推动您的职业生涯

获取世界一流大学的学位 - 100% 在线

加入超过 3400 家选择 Coursera for Business 的全球公司

提升员工的技能，使其在数字经济中脱颖而出

常见问题

要获取课程资料、作业和证书，您需要在注册课程时购买证书体验。您可以尝试免费试听，或申请资助。课程可能提供 "完整课程，无证书"。通过该选项，您可以查看所有课程资料，提交必要的评估，并获得最终成绩。这也意味着您无法购买证书体验。

注册课程后，您就可以访问专项课程中的所有课程，完成作业后还可以获得证书。您的电子证书将添加到您的 "成就 "页面--在那里，您可以打印证书或将其添加到您的 LinkedIn 个人资料中。

是的。在特定的学习课程中，如果您付不起注册费，可以申请助学金或奖学金。如果您选择的学习课程有助学金或奖学金，您可以在说明页面找到申请链接。

更多问题

请访问学生帮助中心。

提供助学金，