本文主要记录线性模型（回归、分类）相关算法核心公式推导。 线性回归 对于线性方程 其中， 最小二乘法 采用二范数平方定义其损失函数： 为了最小化损失函数，实际上等效于求取 由于 如果为满秩矩阵，则 Ridge 回归 也叫做 范数正则化，其一般求解形式为 对比最小二乘法结果可以发现，实际上是在基础上添加了一个单位矩阵，确保了矩阵可逆。 Lasso 回归 也叫做 范数正则化，其一般求解形