本文主要记录 EM 相关算法核心公式推导。 迭代公式 EM 算法就是含有隐变量的概率模型参数的极大似然估计或极大后验概率估计方法。 MLE 估算公式为：。EM 算法的难点在于增加了隐变量，导致模型参数不能直接计算求得。 解决方法是采用迭代法，其一般公式为 其中， 为增加的辅助隐变量，且 为当前已知迭代项。 易知，该迭代算法能够实现的前提是极大似然项能单调递增，即以下公式一直成立 证明如下。

本文主要记录 PCA 相关算法核心公式推导。 基本思想 PCA 降维就是将 维空间的数据 经过线性变换 映射到 维空间中，其一般表达式为 其中， 更进一步，如果在原 维空间按照各轴投影方式重新表达数据 ，则有 上述 为 维空间单位基，降维就是仅取其中的 个基（公式前一项）。 PCA 降维的基本思想就是最大可分性或最近重构性提前下，去掉上述公式的第二项。 前者的思路是让保留的

本文主要记录 SVM 相关算法核心公式推导。 原问题 原始最优化问题一般形式为： 𝕟 其中， 在 上连续可微。 引入广义 Lagrange 函数： ， 是 Lagrange 乘子， 原问题的等价无约束形式为： 对偶问题 定义 注意，对偶问题是关于 的最大化问题，而原问题是关于 的最大化问题。 由于 所以下述不等式恒成立 当 时，为强对偶；当 时，为弱对偶。 强对偶需要满足 K

本文主要记录线性模型（回归、分类）相关算法核心公式推导。 线性回归 对于线性方程 其中， 最小二乘法 采用二范数平方定义其损失函数： 为了最小化损失函数，实际上等效于求取 由于 如果为满秩矩阵，则 Ridge 回归 也叫做 范数正则化，其一般求解形式为 对比最小二乘法结果可以发现，实际上是在基础上添加了一个单位矩阵，确保了矩阵可逆。 Lasso 回归 也叫做 范数正则化，其一般求解形