Agent Memory 核心论文解读

10篇必读论文 | 从入门到精通 AI Agent 记忆系统

📖 阅读指南

两大流派

🎓 模型驱动派（算法岗推荐）：

改造模型内部结构
从底层嵌入记忆能力
适合做算法创新、发论文

🛠️ 应用驱动派（开发岗推荐）：

在应用层构建记忆系统
不改模型，加"外挂"
适合做工程落地、快速验证

阅读顺序建议

开发岗（快速上手）：

1. MemGPT (应用驱动的代表)
   ↓
2. Mem0 (生产级实现)
   ↓
3. Zep (时序知识图谱)
   ↓
4. Agent Memory Survey (全面了解)

算法岗（深入研究）：

1. Agent Memory Survey (建立框架)
   ↓
2. Memorizing Transformers (模型驱动的开山之作)
   ↓
3. MemoryLLM (可更新记忆)
   ↓
4. MemGPT (对比应用驱动)
   ↓
5. 其他前沿论文

🎓 Part 1: 应用驱动派（5篇）

1. MemGPT ⭐⭐⭐⭐⭐ 必读第一篇

论文标题：MemGPT: Towards LLMs as Operating Systems
发表时间：2023年10月
机构：UC Berkeley
论文链接：https://arxiv.org/abs/2310.08560
GitHub：https://github.com/cpacker/MemGPT (19k+ Stars)

![[Pasted image 20251130164110.png]] 核心思想：把 LLM 当作操作系统，借鉴操作系统的虚拟内存管理机制：

主内存（Main Context）：固定大小的上下文窗口
外部存储（External Context）：无限容量的外部数据库
页面置换算法：智能决定哪些信息保留在主内存

技术创新：

分层存储：
- Layer 1：工作记忆（当前对话）
- Layer 2：外部存储（历史信息）
- Layer 3：归档存储（长期知识）
自主管理：
- LLM 决定何时 swap in/out
- 基于重要性动态调整
- 类似 OS 的内存管理

适合场景：

长期对话（跨会话记忆）
复杂任务追踪
研究助手

2. Mem0 ⭐⭐⭐⭐⭐ 生产级首选

论文标题：Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory
发表时间：2024年4月
论文链接：https://arxiv.org/html/2504.19413v1
GitHub：https://github.com/mem0ai/mem0 (43k+ Stars) ![[Pasted image 20251130164200.png]] 核心思想：图增强的记忆框架，自动提取和管理关键信息：

实体提取 + 关系建模
图谱存储 + 向量检索
自动更新 + 去重

技术架构：

用户对话
    ↓
实体识别（NER）
    ↓
关系提取（RE）
    ↓
知识图谱（Neo4j）+ 向量库（组合）
    ↓
检索（混合：图+向量）

独特优势：

✅ 开箱即用（10行代码集成）
✅ 支持多种后端（Redis、Qdrant、PostgreSQL）
✅ 自动去重和更新

⚠️ 注意：社区反馈有稳定性问题，生产环境使用前需充分测试

适合场景：

个性化推荐
对话 Agent
用户画像

3. Zep ⭐⭐⭐⭐ 时序知识图谱

论文标题：Temporal Knowledge Graphs for Agent Memory
发表时间：2025年1月
论文链接：https://arxiv.org/pdf/2501.13956
GitHub：https://github.com/getzep/zep ![[Pasted image 20251130164904.png]] 核心思想：用时序知识图谱管理记忆，捕捉事件的时间关系：

节点：实体、事件
边：关系 + 时间戳
查询：时间范围 + 语义相似度

技术创新：

时间衰减：越久的记忆重要性越低
事件链：追踪事件的因果关系
知识演进：记录信息的更新历史

适合场景：

需要追溯历史的场景
事件驱动的应用
长期用户关系管理

4. HippoRAG ⭐⭐⭐⭐ 神经生物学启发

论文标题：HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models
发表时间：2024年5月
机构：OSU、UCLA
论文链接：https://arxiv.org/abs/2405.14831
GitHub：https://github.com/OSU-NLP-Group/HippoRAG ![[Pasted image 20251130164954.png]] 核心思想：模拟人脑海马体的记忆形成机制：

海马索引：快速定位相关记忆
新皮层存储：长期知识存储
模式分离：区分相似但不同的记忆

技术实现：

Personalized PageRank（PPR）模拟海马索引
知识图谱存储
多跳检索

实验效果：

在多跳问答任务上超越传统 RAG 20%+
检索准确率显著提升

适合场景：

多跳推理
复杂关系理解

5. MemOS ⭐⭐⭐⭐ 类操作系统架构

论文标题：MemOS: An Operating System for AI Agent Memory
发表时间：2025年5月
论文链接：https://arxiv.org/abs/2505.22101 ![[Pasted image 20251130165151.png]] ![[Pasted image 20251130165046.png]] 核心思想：提出类操作系统的记忆中枢，解决四大问题：

长期对话状态建模差
知识演进缺失
用户偏好无法持久建模
平台记忆孤岛

记忆分类：

参数记忆：模型权重、LoRA 模块
激活记忆：KV 缓存、注意力图
明文记忆：外部文本、图谱、Prompt

技术框架：

统一的记忆 API
跨平台记忆共享
记忆生命周期管理

🔬 Part 2: 模型驱动派（5篇）

6. Memorizing Transformers ⭐⭐⭐⭐⭐ 开山之作

论文标题：Memorizing Transformers
发表时间：2022年3月
机构：Google Research
论文链接：https://arxiv.org/abs/2203.08913
GitHub：https://github.com/lucidrains/memorizing-transformers-pytorch ![[Pasted image 20251130165339.png]] 核心思想：首次在 Transformer 中引入外部记忆，通过 KNN 检索历史信息：

每个 token 都存储到外部记忆库
推理时通过 KNN 检索相关历史
融合外部记忆和内部注意力

算法流程：

1. 编码：将历史 token 存入记忆库
2. 检索：KNN 搜索最相关的 k 个记忆
3. 融合：Attention(Q, K_memory, V_memory)
4. 输出：结合内部和外部注意力

实验效果：

在长文本任务上困惑度降低 4%
外推能力显著提升

算法岗价值：

理解外部记忆的设计思想
KNN 检索的优化策略
Attention 融合机制

7. MemoryLLM ⭐⭐⭐⭐ 可更新记忆

论文标题：MemoryLLM: Towards Self-Updatable Large Language Models
发表时间：2024年2月
机构：清华大学
论文链接：https://arxiv.org/abs/2402.04624
GitHub：https://github.com/wangyu-ustc/MemoryLLM ![[Pasted image 20251130165531.png]] 核心思想：在每层 Transformer 中插入可更新的 Memory Tokens：

固定参数：预训练的模型参数（不变）
Memory Tokens：可读写的记忆单元（可更新）
终身学习：持续学习新知识，对抗遗忘

技术细节：

Memory Tokens 设计
读写机制（Read/Write Gates）
更新策略（何时更新、如何更新）
遗忘控制

适合研究方向：

终身学习
模型编辑
知识更新

8. Memory³ ⭐⭐⭐⭐ 分层记忆

论文标题：Memory³: Language Modeling with Explicit Memory
发表时间：2024年7月
论文链接：https://arxiv.org/abs/2407.01178 ![[Pasted image 20251130165719.png]] 核心思想：模拟人脑，将记忆分为三层：

感知记忆：原始输入
短期记忆：工作上下文
长期记忆：知识存储

算法设计：每一层有不同的编码方式和检索策略

创新点：首次提出分层记忆的完整框架

9. WISE ⭐⭐⭐⭐ 双参数体系

论文标题：WISE: Rethinking the Knowledge Memory for Lifelong Model Editing
发表时间：2024年5月
机构：浙江大学
论文链接：https://arxiv.org/abs/2405.14768
GitHub：https://github.com/zjunlp/EasyEdit ![[Pasted image 20251130165809.png]] 核心思想：

主记忆：预训练知识（冻结）
侧记忆：后续编辑的知识（可更新）

适合场景：

知识编辑
事实更新
避免灾难性遗忘

10. Titans ⭐⭐⭐⭐ 学习遗忘

论文标题：Titans: Learning to Memorize at Test Time
发表时间：2025年1月
机构：Google DeepMind
论文链接：https://arxiv.org/abs/2501.00663
GitHub：https://github.com/lucidrains/titans-pytorch ![[Pasted image 20251130165853.png]] 核心思想：设计神经网络模块，学习何时存储、何时遗忘：

存储门控：决定哪些信息值得存储
遗忘门控：决定何时清理记忆
检索门控：决定调用哪些记忆

创新点：让模型学会"断舍离"，避免记忆过载

📊 Part 3: 综合对比

两大流派完整对比

维度	模型驱动	应用驱动
代表论文	Memorizing Transformers MemoryLLM Memory³	MemGPT Mem0 Zep
核心思路	改造模型内部结构	应用层记忆管理
实现方式	Memory Tokens KNN 检索门控机制	外部数据库知识图谱向量检索
优势	• 性能上限高 • 读取效率高 • 深度集成	• 落地快 • 易扩展 • 模型无关
劣势	• 研发成本高 • 需要重新训练 • 通用性差	• 依赖底层模型 • 可能有延迟 • 幻觉问题
适合岗位	🔬 算法工程师	🛠️ 开发工程师
研究方向	模型架构创新训练算法优化	系统架构设计工程实践优化

📚 综述论文（2篇必读）

Agent Memory Survey ⭐⭐⭐⭐⭐ 最全面

论文标题：大模型智能体记忆机制综述
论文链接：https://arxiv.org/pdf/2404.13501.pdf
GitHub：https://github.com/nuster1128/LLM_Agent_Memory_Survey

核心贡献：

记忆分类框架：
- 参数化记忆
- 上下文记忆（结构化/非结构化）
六大操作：
- 巩固（Consolidation）
- 更新（Update）
- 索引（Indexing）
- 遗忘（Forgetting）
- 检索（Retrieval）
- 压缩（Compression）
研究主题：
- Memory 架构设计
- Memory 操作优化
- Memory 评估方法
- Memory 应用场景

使用建议：

建立 Memory 完整认知框架
了解研究全貌
选择研究方向

Multimodal Memory Survey ⭐⭐⭐⭐ 多模态扩展

GitHub：https://github.com/patrick-tssn/Awesome-Multimodal-Memory

核心内容：收录 400+ 篇多模态记忆论文：

视觉记忆（Visual Memory）
机器人记忆（Robotic Memory）
多模态上下文建模
音频、视频、图像、3D 记忆

适合方向：

多模态 Agent
具身智能
VLM 应用

🔬 其他重要论文

MemAgent ⭐⭐⭐⭐

论文：https://arxiv.org/abs/2507.02259
核心：强化学习记忆聚合
适合：Agent RL 研究

MemLong ⭐⭐⭐⭐

论文：https://arxiv.org/abs/2408.16967
核心：检索记忆模块 + 可控注意力
适合：超长文本处理

🎯 如何选择论文阅读？

按目标选择

你的目标	推荐论文	阅读顺序
快速了解全貌	Agent Memory Survey	直接读综述
做工程落地	MemGPT → Mem0 → Zep	先易后难
做算法创新	Survey → Memorizing Transformers → MemoryLLM	建立框架后深入
发论文	读最新 5 篇（2024-2025）	找到 gap

💡 论文阅读建议

开发岗阅读策略

重点关注：

✅ 系统架构（怎么设计的）
✅ 实现细节（怎么实现的）
✅ 性能指标（效果如何）
❌ 可以跳过数学推导

阅读顺序：

Abstract → Introduction → System Design → Experiments

时间分配：

一篇论文：30-60 分钟
重点：架构图 + 代码实现

算法岗阅读策略

重点关注：

✅ 问题定义（解决什么问题）
✅ 算法设计（创新点是什么）
✅ 数学原理（为什么有效）
✅ 实验设计（如何验证）
✅ 局限性（未来工作）

阅读顺序：

Abstract → Introduction → Method（重点！）→ Experiments → Conclusion

时间分配：

一篇论文：2-4 小时（精读）
做笔记、画图、推公式

📝 相关文档

👉 返回主文档：AgentGuide README

Agent Memory 核心论文解读 ​

📖 阅读指南 ​

两大流派 ​

阅读顺序建议 ​

🎓 Part 1: 应用驱动派（5篇） ​

1. MemGPT ⭐⭐⭐⭐⭐ 必读第一篇 ​

2. Mem0 ⭐⭐⭐⭐⭐ 生产级首选 ​

3. Zep ⭐⭐⭐⭐ 时序知识图谱 ​

4. HippoRAG ⭐⭐⭐⭐ 神经生物学启发 ​

5. MemOS ⭐⭐⭐⭐ 类操作系统架构 ​

🔬 Part 2: 模型驱动派（5篇） ​

6. Memorizing Transformers ⭐⭐⭐⭐⭐ 开山之作 ​

7. MemoryLLM ⭐⭐⭐⭐ 可更新记忆 ​

8. Memory³ ⭐⭐⭐⭐ 分层记忆 ​

9. WISE ⭐⭐⭐⭐ 双参数体系 ​

10. Titans ⭐⭐⭐⭐ 学习遗忘 ​

📊 Part 3: 综合对比 ​

两大流派完整对比 ​

📚 综述论文（2篇必读） ​

Agent Memory Survey ⭐⭐⭐⭐⭐ 最全面 ​

Multimodal Memory Survey ⭐⭐⭐⭐ 多模态扩展 ​

🔬 其他重要论文 ​

MemAgent ⭐⭐⭐⭐ ​

MemLong ⭐⭐⭐⭐ ​

🎯 如何选择论文阅读？ ​

按目标选择 ​

💡 论文阅读建议 ​

开发岗阅读策略 ​

算法岗阅读策略 ​

📝 相关文档 ​

Agent Memory 核心论文解读

📖 阅读指南

两大流派

阅读顺序建议

🎓 Part 1: 应用驱动派（5篇）

1. MemGPT ⭐⭐⭐⭐⭐ 必读第一篇

2. Mem0 ⭐⭐⭐⭐⭐ 生产级首选

3. Zep ⭐⭐⭐⭐ 时序知识图谱

4. HippoRAG ⭐⭐⭐⭐ 神经生物学启发

5. MemOS ⭐⭐⭐⭐ 类操作系统架构

🔬 Part 2: 模型驱动派（5篇）

6. Memorizing Transformers ⭐⭐⭐⭐⭐ 开山之作

7. MemoryLLM ⭐⭐⭐⭐ 可更新记忆

8. Memory³ ⭐⭐⭐⭐ 分层记忆

9. WISE ⭐⭐⭐⭐ 双参数体系

10. Titans ⭐⭐⭐⭐ 学习遗忘

📊 Part 3: 综合对比

两大流派完整对比

📚 综述论文（2篇必读）

Agent Memory Survey ⭐⭐⭐⭐⭐ 最全面

Multimodal Memory Survey ⭐⭐⭐⭐ 多模态扩展

🔬 其他重要论文

MemAgent ⭐⭐⭐⭐

MemLong ⭐⭐⭐⭐

🎯 如何选择论文阅读？

按目标选择

💡 论文阅读建议

开发岗阅读策略

算法岗阅读策略

📝 相关文档