1. 引言 这几天微软开源了一个新的基于知识图谱构建的检索增强生成（RAG）系统, GraphRAG, 该框架旨在利用大型语言模型（LLMs）从非结构化文本中提取结构化数据, 构建具有标签的知识图谱，以支持数据集问题生成、摘要问答等多种应用场景。 GraphRAG 的一大特色是利用图机器学习算法针对数据集进行语义聚合和层次化分析，因而可以回答一些相对高层级的抽象或总结性问题, 这一点恰好是常规 R

近期 OpenMMLab 开源了一个新的库 MMEngine，根据官方描述，新版 MMCV 保留了部分之前的算子（operators），并新增了一些变换（transforms）功能，其余与训练相关的大部分功能（比如 runner、fileio 等）均已迁移至 MMEngine，新版训练测试脚本，功能更为强大，在接口、封装与调用逻辑等方面也做了大幅优化。 之前也断断续续浏览过 MMCV 项目的一些代

Normalization 技术是深度学习中一个非常重要的概念，中文常翻译成“规范化”，从 2015 年 Google 提出 Batch Normalization（BN）后，由于实际效果非常好，BN 很快就成了深度学习领域的标配工具，后续的几年，针对不同场景的 Normalization 技术也在不断地被提出. 这篇文章主要是想整理 Normalization 相关知识点，后续会时不时更新，文章

关于优化器这块，网上的资料已经蛮多了，这里主要记录一些自己的思考。本文主要探讨以下问题： 目前主流优化器是朝着哪些研究方向发展？背后可能的一些逻辑是什么样的？ 关于优化器的一些似是而非的问题的理解； 正式开始之前，首先给出一些基本的符号定义： 模型参数 ； 目标函数为 ； 学习率为 ； 梯度 ； 优化器的分类 个人认为，目前主流的优化器，从迭代思路来看，主要朝两个方向发展： 动量

本文主要记录 EM 相关算法核心公式推导。 迭代公式 EM 算法就是含有隐变量的概率模型参数的极大似然估计或极大后验概率估计方法。 MLE 估算公式为：。EM 算法的难点在于增加了隐变量，导致模型参数不能直接计算求得。 解决方法是采用迭代法，其一般公式为 其中， 为增加的辅助隐变量，且 为当前已知迭代项。 易知，该迭代算法能够实现的前提是极大似然项能单调递增，即以下公式一直成立 证明如下。

本文主要记录 PCA 相关算法核心公式推导。 基本思想 PCA 降维就是将 维空间的数据 经过线性变换 映射到 维空间中，其一般表达式为 其中， 更进一步，如果在原 维空间按照各轴投影方式重新表达数据 ，则有 上述 为 维空间单位基，降维就是仅取其中的 个基（公式前一项）。 PCA 降维的基本思想就是最大可分性或最近重构性提前下，去掉上述公式的第二项。 前者的思路是让保留的

本文主要记录 SVM 相关算法核心公式推导。 原问题 原始最优化问题一般形式为： 𝕟 其中， 在 上连续可微。 引入广义 Lagrange 函数： ， 是 Lagrange 乘子， 原问题的等价无约束形式为： 对偶问题 定义 注意，对偶问题是关于 的最大化问题，而原问题是关于 的最大化问题。 由于 所以下述不等式恒成立 当 时，为强对偶；当 时，为弱对偶。 强对偶需要满足 K

本文主要记录线性模型（回归、分类）相关算法核心公式推导。 线性回归 对于线性方程 其中， 最小二乘法 采用二范数平方定义其损失函数： 为了最小化损失函数，实际上等效于求取 由于 如果为满秩矩阵，则 Ridge 回归 也叫做 范数正则化，其一般求解形式为 对比最小二乘法结果可以发现，实际上是在基础上添加了一个单位矩阵，确保了矩阵可逆。 Lasso 回归 也叫做 范数正则化，其一般求解形