本文主要记录 SVM 相关算法核心公式推导。 原问题 原始最优化问题一般形式为： 𝕟 其中， 在 上连续可微。 引入广义 Lagrange 函数： ， 是 Lagrange 乘子， 原问题的等价无约束形式为： 对偶问题 定义 注意，对偶问题是关于 的最大化问题，而原问题是关于 的最大化问题。 由于 所以下述不等式恒成立 当 时，为强对偶；当 时，为弱对偶。 强对偶需要满足 K

本文主要记录线性模型（回归、分类）相关算法核心公式推导。 线性回归 对于线性方程 其中， 最小二乘法 采用二范数平方定义其损失函数： 为了最小化损失函数，实际上等效于求取 由于 如果为满秩矩阵，则 Ridge 回归 也叫做 范数正则化，其一般求解形式为 对比最小二乘法结果可以发现，实际上是在基础上添加了一个单位矩阵，确保了矩阵可逆。 Lasso 回归 也叫做 范数正则化，其一般求解形