机器学习复习重点

相关资料

下面提供了课件和发过的资料，供大家下载参考（侵删）。

重点内容

根据最后一节复习课课上内容整理。

不会重点考察的内容

• 小样本学习
• 持续学习
• NLP（可能选择题考一些概念）

这一部分据说应该基本不考，最多最多会在选择题里面出现。

基础概念

• 距离度量函数 GoTo->
• 高斯分布 GoTo->
• 概率，主要是条件概率和贝叶斯公式 GoTo->
• 生成式和判别式模型的区别 GoTo->

模型评估与选择

• 学习方法的三要素基础概念 GoTo->
  • 损失函数的定义
• 模型评估方法 GoTo->
  • 过拟合和欠拟合
  • 泛化误差和经验误差、偏差和方差
  • 性能度量指标

线性模型

• 线性可分性 GoTo->
• 感知机 GoTo->
• 基础线性回归 GoTo->
• $\text{LDA}$ 不需掌握复杂计算，重理解 GoTo->

决策树 重点

• 基本概念：最佳划分属性选择、节点划分 GoTo->
• 信息增益 GoTo->
• 提高泛化性能：剪枝操作、特殊处理等 GoTo->

$k$ 近邻

• 基本概念：主要流程、懒惰学习的概念 GoTo->
• 大概理解优化方法 大致理解即可 GoTo->

支持向量机 十分重要，需要多花时间

• 线性 $\text{SVM}$：基础知识、间隔、软间隔
• 非线性 $\text{SVM}$：理解核函数的作用 GoTo->

神经网络 同样很重要

• MP 神经元、各种激活函数的发展和作用 GoTo->
• MLP 的基本概念和流程 GoTo->

卷积神经网络

• 主要结构 GoTo->
• 深度学习技巧 GoTo->

无监督学习

• 距离度量函数 GoTo->
• 聚类准则 GoTo->
• K-means GoTo->
• 其他的聚类方法 了解即可

高斯混合模型

这一部分只需要理解基本思路，不需要掌握复杂的推导。

• 高斯分布的基本概念 GoTo->
• 最大似然估计
• 期望最大化算法

贝叶斯分类器

高阶、半朴素、贝叶斯网等内容不涉及。

• 贝叶斯定理 GoTo->
• 朴素贝叶斯分类器 GoTo->

集成学习

同样只需要理解基本思路

• Bagging 基本原理
• 两类 Boosting 方法、概率近似正确学习理论等