上周，我们打下了深度学习的基础，学习了感知器和回溯算法。本周，我们将学习优化方法。我们将从随机梯度下降算法（SGD）开始。SGD 有几个我们可以调整的设计参数，包括学习率、动量和衰减。然后，我们将把注意力转向先进的梯度下降方法，如学习率调度和内斯特洛夫动量。除了 vanilla 梯度下降法，其他优化算法还包括 AdaGrad、AdaDelta、RMSprop 和 Adam。我们将介绍在训练神经网络时减少过拟合的一般技巧，包括正则化方法（如 dropout 和批量正则化）。本周，您将构建自己的 DL 工具包，获得使用 Python 库 Keras 的经验。本周的考核包括一次小测验和一本 Jupyter 实验笔记本以及同行评议。 本作业是本课程最后一个 Jupyter 实验笔记本。在接下来的三周中，您将积累实践经验，每周完成一个结合 Kaggle 挑战的小型项目。

本模块将讲授一种适合图像分析任务的神经网络--卷积神经网络。我们将学习定义、设计参数、操作、超参数调整和应用。本周没有 Jupyter 实验笔记本。您将参加一个简短的测验，并参与一个与临床相关的 Kaggle 挑战迷你项目。评估癌症是否扩散到前哨淋巴结对乳腺癌分期至关重要。您将建立一个 CNN 模型，对数字病理图像是否显示癌症已扩散到淋巴结进行分类。本项目使用 PCam 数据集，该数据集大小适中，作者指出："在单个 GPU 上训练模型只需几个小时就能轻松完成，并获得有竞争力的分数。在为本周做准备时，请仔细阅读评分标准，并为如何完成它制定一个计划。对于这样的项目，有必要在允许您进行实验的时间范围内开展工作。我们并不期望您在一周内完成相当于期末考试的项目，也不期望您必须在排行榜上获得最高分才能在该项目中获得好成绩。希望您有时间取得一些令人兴奋的成果，并在您的作品集中加以展示。

本模块将向你传授另一种处理连续数据的神经网络--递归神经网络（RNN）。到目前为止，我们已经介绍了包括多层感知器和 CNN 在内的前馈神经网络。然而，在生物系统中，信息可以前后流动。RNN 的后向传递更接近于生物系统。使用 RNN 有很多好处，尤其是在处理文本数据时，因为 RNN 架构减少了参数的数量。我们将了解使用虚构 RNN 时可能出现的梯度消失和爆炸问题，以及解决这些问题的方法，包括 GRU 和 LSTM 单元。 本周没有测验，但我们有一个 Kaggle 挑战迷你项目，主题是 "灾难推文的 NLP"。该项目是一项入门竞赛，旨在帮助学习者建立机器学习背景。这项挑战可以在一周内完成，但一定要尽早开始，以便进行实验和迭代。

本模块的重点是通过无监督学习训练神经网络模型。我们将以自动编码器和 GAN 为例进行讲解。 我们将考虑著名人工智能研究员 Yann LeCun 关于强化学习、监督学习和非监督学习的蛋糕类比。有监督深度学习取得了巨大成功，这主要归功于像 ImageNet 这样的海量数据集。然而，要获得生物医学图像等领域的标记数据，成本高昂且极具挑战性。继续开发无监督深度学习方法以利用丰富的非标记数据源具有巨大的动力。 本周是新课程材料的最后一周。没有小测验或 Jupyter 笔记本实验。 生成式对抗网络（GAN）学习生成与训练集具有相同统计量的新数据。本周，您将完成最后一个 Kaggle 小项目。这一次，你们将尝试创建一个生成小狗图像的网络。