CTRL K

Mathematical Foundations of Machine Learning and Deep Learning Algorithms

Mr Nanko,9/17/2018

本文整理了机器学习与深度学习常用算法所需的数学基础知识。涵盖从传统机器学习（贝叶斯、SVM、决策树等）到深度学习（神经网络、CNN、RNN、GAN等）的核心数学概念。适合作为学习路线参考或快速查阅使用。

算法与数学知识对照表

算法或理论	用到的数学知识
贝叶斯分类器	随机变量，贝叶斯公式，随机变量独立性，正态分布，最大似然估计
决策树	概率，熵，Gini系数
KNN算法	距离函数
主成分分析	协方差矩阵，散步矩阵，拉格朗日乘数法，特征值与特征向量
流形学习	流形，最优化，测地线，测地距离，图，特征值与特征向量
线性判别分析	散度矩阵，逆矩阵，拉格朗日乘数法，特征值与特征向量
支持向量机	点到平面的距离，Slater条件，强对调，拉格朗日对偶，KKT条件，凸优化，核函数，Mercer条件
logistic回归	概率，随机变量，最大似然估计，梯度下降法，凸优化，牛顿法
随机森林	抽样，方差
AbaBoost算法	概率，随机变量，极值定理，数学期望，牛顿法
隐马尔科夫模型	概率，离散型随机变量，条件概率，随机变量独立性，拉格朗日乘数法，最大似然估计
条件随机场	条件概率，数学期望，最大似然估计
高斯混合模型	正态分布，最大似然估计，Jensen不等式
人工神经网络	梯度下降法，链式法则
卷积神经网络	梯度下降法，链式法则
循环神经网络	梯度下降法，链式法则
生成对抗网络	梯度下降法，链式法则，极值定理，Kullback-Leibler散度，测地距离，条件分布，互信息
K-means算法	距离函数
强化学习	距离函数
强化学习	数学期望，贝尔曼方程
贝叶斯网络	条件概率，贝叶斯公式，图
VC维	Hoeffding不等式

注：以上资料来源知乎某位大牛（找不到具体的出处），如侵权，请及时联系我！