引言：从电影《记忆碎片》说起 不知道各位是否看过电影《记忆碎片》(Memento)？主角因患上短期失忆症，只能依赖身上的纹身和拍立得照片这些外部“记忆”来拼凑身份、追寻真相。这听起来很极端，但这正是今天绝大多数 AI 智能体的日常——一种根本性的“失忆症” (Amnesia)。每一次交互都是一次“冷启动”，它们被困在一个“永恒的当下”，无法从过去的成败中积累经验。 为了治愈它，业界的主流疗法是“微

超越上下文窗口：字节 M3-Agent 如何为健忘的 AI 注入长期记忆 最近字节跳动 SEED 团队提出了 M3-Agent 项目，它没有走“把模型堆到无限大，然后期待智能涌现”的老路，而是非常务实地提出了一套分工明确的系统架构。本文中我们将简要拆解一下它到底是怎么做的，以及这背后反映的AI智能体发展的哪两种核心路线之争。 一、两大核心流程 抛开论文里那些正式的术语，M3-Agent 的核心思想

一. 引言 前几天蚂蚁正式发布了一个专业领域知识服务框架, 叫做知识增强生成(Knowledge Augmented Generation，KAG), 该框架旨在充分利用知识图谱和向量检索的优势，以解决现有 RAG 技术栈的一些挑战。 从蚂蚁对这个框架预热开始，笔者就对 KAG 的一些核心功能比较感兴趣，尤其是逻辑符号推理与知识对齐，在现有主流 RAG 系统中，这两点讨论貌似还不算多，趁着这次开源

1. 引言 这几天微软开源了一个新的基于知识图谱构建的检索增强生成（RAG）系统, GraphRAG, 该框架旨在利用大型语言模型（LLMs）从非结构化文本中提取结构化数据, 构建具有标签的知识图谱，以支持数据集问题生成、摘要问答等多种应用场景。 GraphRAG 的一大特色是利用图机器学习算法针对数据集进行语义聚合和层次化分析，因而可以回答一些相对高层级的抽象或总结性问题, 这一点恰好是常规 R

近期 OpenMMLab 开源了一个新的库 MMEngine，根据官方描述，新版 MMCV 保留了部分之前的算子（operators），并新增了一些变换（transforms）功能，其余与训练相关的大部分功能（比如 runner、fileio 等）均已迁移至 MMEngine，新版训练测试脚本，功能更为强大，在接口、封装与调用逻辑等方面也做了大幅优化。 之前也断断续续浏览过 MMCV 项目的一些代

Normalization 技术是深度学习中一个非常重要的概念，中文常翻译成“规范化”，从 2015 年 Google 提出 Batch Normalization（BN）后，由于实际效果非常好，BN 很快就成了深度学习领域的标配工具，后续的几年，针对不同场景的 Normalization 技术也在不断地被提出. 这篇文章主要是想整理 Normalization 相关知识点，后续会时不时更新，文章

关于优化器这块，网上的资料已经蛮多了，这里主要记录一些自己的思考。本文主要探讨以下问题： 目前主流优化器是朝着哪些研究方向发展？背后可能的一些逻辑是什么样的？ 关于优化器的一些似是而非的问题的理解； 正式开始之前，首先给出一些基本的符号定义： 模型参数 ； 目标函数为 ； 学习率为 ； 梯度 ； 优化器的分类 个人认为，目前主流的优化器，从迭代思路来看，主要朝两个方向发展： 动量

本文主要记录 EM 相关算法核心公式推导。 迭代公式 EM 算法就是含有隐变量的概率模型参数的极大似然估计或极大后验概率估计方法。 MLE 估算公式为：。EM 算法的难点在于增加了隐变量，导致模型参数不能直接计算求得。 解决方法是采用迭代法，其一般公式为 其中， 为增加的辅助隐变量，且 为当前已知迭代项。 易知，该迭代算法能够实现的前提是极大似然项能单调递增，即以下公式一直成立 证明如下。

本文主要记录 PCA 相关算法核心公式推导。 基本思想 PCA 降维就是将 维空间的数据 经过线性变换 映射到 维空间中，其一般表达式为 其中， 更进一步，如果在原 维空间按照各轴投影方式重新表达数据 ，则有 上述 为 维空间单位基，降维就是仅取其中的 个基（公式前一项）。 PCA 降维的基本思想就是最大可分性或最近重构性提前下，去掉上述公式的第二项。 前者的思路是让保留的

本文主要记录 SVM 相关算法核心公式推导。 原问题 原始最优化问题一般形式为： 𝕟 其中， 在 上连续可微。 引入广义 Lagrange 函数： ， 是 Lagrange 乘子， 原问题的等价无约束形式为： 对偶问题 定义 注意，对偶问题是关于 的最大化问题，而原问题是关于 的最大化问题。 由于 所以下述不等式恒成立 当 时，为强对偶；当 时，为弱对偶。 强对偶需要满足 K