关于 Engram 与 LLM Memory 方案的一些简单思考

DeepSeek 这两天发了一篇新的有关 LLM Memory 的研究论文 链接，提出了条件记忆（Conditional Memory）的概念，并通过 Engram 这个 Memory 模块开辟了除 MoE（计算稀疏性）之外的新维度：存储稀疏性，其核心逻辑在于通过 复杂度的哈希 -gram 查询，实现了计算架构与存储的工程解耦。 因为对 Memory 领域比较关注，所以这篇文章简单汇总一下个
Memory
#Memory #Engram #LLM

Memento：智能体持续进化新范式

引言：从电影《记忆碎片》说起 不知道各位是否看过电影《记忆碎片》(Memento)？主角因患上短期失忆症，只能依赖身上的纹身和拍立得照片这些外部“记忆”来拼凑身份、追寻真相。这听起来很极端，但这正是今天绝大多数 AI 智能体的日常——一种根本性的“失忆症” (Amnesia)。每一次交互都是一次“冷启动”，它们被困在一个“永恒的当下”，无法从过去的成败中积累经验。 为了治愈它，业界的主流疗法是“微
Memory
#Memory #Self-Evolving #RAG

超越上下文窗口：字节 M3-Agent 如何为健忘的 AI 注入长期记忆

超越上下文窗口：字节 M3-Agent 如何为健忘的 AI 注入长期记忆 最近字节跳动 SEED 团队提出了 M3-Agent 项目，它没有走“把模型堆到无限大，然后期待智能涌现”的老路，而是非常务实地提出了一套分工明确的系统架构。本文中我们将简要拆解一下它到底是怎么做的，以及这背后反映的AI智能体发展的哪两种核心路线之争。 一、两大核心流程 抛开论文里那些正式的术语，M3-Agent 的核心思想
Memory
#Memory #RAG #M3-Agent

蚂蚁KAG框架核心功能研读

一. 引言 前几天蚂蚁正式发布了一个专业领域知识服务框架, 叫做知识增强生成(Knowledge Augmented Generation，KAG), 该框架旨在充分利用知识图谱和向量检索的优势，以解决现有 RAG 技术栈的一些挑战。 从蚂蚁对这个框架预热开始，笔者就对 KAG 的一些核心功能比较感兴趣，尤其是逻辑符号推理与知识对齐，在现有主流 RAG 系统中，这两点讨论貌似还不算多，趁着这次开源
RAG
#KAG

源码解读 - 微软GraphRAG框架

1. 引言 这几天微软开源了一个新的基于知识图谱构建的检索增强生成（RAG）系统, GraphRAG, 该框架旨在利用大型语言模型（LLMs）从非结构化文本中提取结构化数据, 构建具有标签的知识图谱，以支持数据集问题生成、摘要问答等多种应用场景。 GraphRAG 的一大特色是利用图机器学习算法针对数据集进行语义聚合和层次化分析，因而可以回答一些相对高层级的抽象或总结性问题, 这一点恰好是常规 R
RAG
#GraphRAG

MMEngine 之 Runner 调用流程浅析

近期 OpenMMLab 开源了一个新的库 MMEngine，根据官方描述，新版 MMCV 保留了部分之前的算子（operators），并新增了一些变换（transforms）功能，其余与训练相关的大部分功能（比如 runner、fileio 等）均已迁移至 MMEngine，新版训练测试脚本，功能更为强大，在接口、封装与调用逻辑等方面也做了大幅优化。 之前也断断续续浏览过 MMCV 项目的一些代
深度学习
#MMEngine

深度学习基础概念 -- 规范化Normalization

Normalization 技术是深度学习中一个非常重要的概念，中文常翻译成“规范化”，从 2015 年 Google 提出 Batch Normalization（BN）后，由于实际效果非常好，BN 很快就成了深度学习领域的标配工具，后续的几年，针对不同场景的 Normalization 技术也在不断地被提出. 这篇文章主要是想整理 Normalization 相关知识点，后续会时不时更新，文章
深度学习
#规范化

深度学习基础概念 -- 优化器Optimizer

关于优化器这块，网上的资料已经蛮多了，这里主要记录一些自己的思考。本文主要探讨以下问题： 目前主流优化器是朝着哪些研究方向发展？背后可能的一些逻辑是什么样的？ 关于优化器的一些似是而非的问题的理解； 正式开始之前，首先给出一些基本的符号定义： 模型参数 ； 目标函数为 ； 学习率为 ； 梯度 ； 优化器的分类 个人认为，目前主流的优化器，从迭代思路来看，主要朝两个方向发展： 动量
深度学习
#优化器