欢迎来到数学 569 单元 2：统计学习。在此，我们将探索该领域的基础模型：线性回归。这个简单但非常有用的模型可以帮助我们更好地理解模块 1 中讨论的统计学习问题。在第 1 课中，我们将仔细回顾线性回归的目的是什么，我们如何用给定的数据集构建模型参数，以及我们可以对估计系数进行哪些类型的统计检验。在第 2 课中，我们将介绍一种称为 "子集选择 "的方法，其目的是通过剔除无影响的自变量来改进线性回归。在第 3 课中，我们将探讨用两种正则化方法将偏差引入线性回归模型：岭回归和 LASSO。这些方法利用超参数（本课程的关键概念）来限制系数的增长。这就是偏差的来源，将帮助我们理解为什么有偏差的估计值可以优于我们在第 1 课中对线性回归系数的无偏估计值。最后，第 4 课介绍了数据转换的概念，通过数据转换可以解决数据集的复杂性问题。它还提供了一种将线性模型转换为非线性模型的简单方法。

欢迎来到数学 569 的第 3 单元：统计学习，我们将深入探讨线性分类。在第 1 课中，我们将探讨通常用于预测连续结果的线性回归如何适用于分类任务--预测离散类别。我们将介绍如何将分类数据转换为适合分类的数字格式，并介绍准确率、精确度和召回率等基本分类指标。在第 2 课中，我们将探索线性判别分析（LDA）作为构建线性分类的另一种方法。这种方法引入了分类最大化给定数据点类别概率的概念，我们将在课程的后半部分重新讨论这一框架。在一些简化假设的前提下，最大化分类的可能性会产生一个线性模型，这个模型也可以降低问题的维度。最后，在第 3 课中，我们将介绍逻辑回归，它是通过假设对数似然几率是线性模型来构建的。其结果与 LDA 相似，产生一个线性决策边界。

欢迎来到数学 569 的第 4 单元：本模块主要介绍统计建模的高级方法。本模块首先介绍基数展开方法，探讨这些技术如何通过纳入非线性关系来增强线性模型。然后，我们将深入探讨片断多项式，讨论它们在捕捉不同数据段的不同趋势方面的实用性。在第 2 课中，我们将探讨平滑样条曲线，强调它们在有效平衡模型拟合度和复杂性方面的作用。最后，第 3 课介绍了正则化和核函数，详细阐述了这些概念如何在不显著增加计算复杂度的情况下帮助构建更复杂的模型。

欢迎来到数学 569 的第 5 单元：统计学习 "专门介绍非线性数据建模的高级技术。在第 1 课中，我们将深入研究核平滑模型，探索它们如何基于局部数据进行预测，以及它们与 k-Nearest Neighbors (kNN) 模型的比较。第 2 课的重点是局部回归，尤其是局部线性回归 (LLR) 和局部多项式回归 (LPR)。我们将研究 LLR 如何克服一些核平滑的限制，以及 LPR 如何灵活捕捉本地数据结构。该模块强调了这些技术对复杂数据关系的适应性，并讨论了在选择超参数和计算需求方面的挑战，尤其是对大型数据集的挑战。

数学 569》第 6 单元：统计学习通过超参数选择深入研究模型评估和模型选择。该模块从了解偏差-方差分解开始，强调了模型简单性和准确性之间的权衡。然后，该模块将探讨模型的复杂性，并提供平衡模型复杂性与预测性能的策略。基于平衡模型复杂性和性能的重要性，我们将继续介绍模型选择指标，即 AIC、BIC 和 MD：AIC、BIC 和 MDL。这些都是平衡误差与模型复杂性（如参数数量）的信息论指标。最后，本模块通过使用 VC 维度、交叉验证和引导等概念，总结了在没有测试集的情况下估计测试误差的课程。本模块对于掌握统计学习中的模型评估和选择至关重要。

数学 569》第 7 单元：统计学习介绍高级推断技术。第 1 课的重点是最大似然推断，解释如何通过最大化似然函数找到最佳模型参数。这种方法在估计数据集最有可能的参数方面至关重要。第 2 课深入探讨贝叶斯推断法，将其与频繁主义方法进行对比。它涵盖了贝叶斯定理，该定理将先验信念与新证据相结合，从而动态更新信念。该模块深入讨论了贝叶斯建模过程，包括使用先验分布和后验分布构建和更新模型。本模块对于理解统计学习中复杂的推理方法至关重要。

数学 569》第 8 单元：统计学习涵盖多种高级机器学习技术。该模块从决策树开始，重点介绍决策树的结构及其在分类和回归任务中的应用。接下来，它探讨了支持向量机（SVM），详细介绍了它们在创建最佳决策边界方面的功能。然后，该模块研究了 k-Means 聚类，这是一种用于数据分组的无监督学习方法。最后，本模块以神经网络结束，讨论了神经网络的架构及其在复杂模式识别中的作用。每一课都深入探讨了这些技术，展示了它们在统计学习中的独特优势和应用。

本模块包含终结性课程评估，旨在评价您对课程材料的理解，并评估您应用整个课程所学知识的能力。在参加评估之前，请务必全面复习课程材料。