本文主要记录 PCA 相关算法核心公式推导。 基本思想 PCA 降维就是将 维空间的数据 经过线性变换 映射到 维空间中，其一般表达式为 其中， 更进一步，如果在原 维空间按照各轴投影方式重新表达数据 ，则有 上述 为 维空间单位基，降维就是仅取其中的 个基（公式前一项）。 PCA 降维的基本思想就是最大可分性或最近重构性提前下，去掉上述公式的第二项。 前者的思路是让保留的

本文主要记录 SVM 相关算法核心公式推导。 原问题 原始最优化问题一般形式为： 𝕟 其中， 在 上连续可微。 引入广义 Lagrange 函数： ， 是 Lagrange 乘子， 原问题的等价无约束形式为： 对偶问题 定义 注意，对偶问题是关于 的最大化问题，而原问题是关于 的最大化问题。 由于 所以下述不等式恒成立 当 时，为强对偶；当 时，为弱对偶。 强对偶需要满足 K

本文主要记录线性模型（回归、分类）相关算法核心公式推导。 线性回归 对于线性方程 其中， 最小二乘法 采用二范数平方定义其损失函数： 为了最小化损失函数，实际上等效于求取 由于 如果为满秩矩阵，则 Ridge 回归 也叫做 范数正则化，其一般求解形式为 对比最小二乘法结果可以发现，实际上是在基础上添加了一个单位矩阵，确保了矩阵可逆。 Lasso 回归 也叫做 范数正则化，其一般求解形