文章来源：微信公众号「AI-Frontiers」于 2026 年 10 月 28 日发布《一文读懂 RSI：大模型递归自进化五大技术路线全景解析》。
与其他文章的关系：本站 2026-11-05 的《RSI 与 Harness》讲的是 9–10 月那批 Harness 层工程实践（Harness²、HarnessPro、Terminal-RSI、Claude 单主循环、DeepSeek Super-agent）与验证链；本文是按「改什么」划分的技术路线全景，覆盖 2023–2026 年的代表论文与开源框架。两篇互补：一篇回答“怎么验”，一篇回答“有哪些做法”。
一句话结论
RSI 的关键不是“AI 会自己改东西”，而是改进机制本身也进入被改进的对象。按修改对象拆，只有五条路可选：改权重、改提示词与脚手架、改记忆与技能库、改自身源码、改多智能体协作与研发流程。算力门槛从“几十美元 API 费”一路升到“多卡过夜训练”，选错路线的代价远大于选错框架。
先分清三个层级：别把“自检”叫成“自进化”
原文给出一个很好用的三级划分，我按自己的理解补上了工程含义：
| 层级 | 通俗比喻 | 改了什么 | 是否持久 | 工程判断 |
|---|---|---|---|---|
| 单次自我修正 | 交卷前自己检查一遍 | 当前这一轮的回答文本 | 否 | 属于推理期计算扩展，不是 RSI |
| 持续自进化 | 把错题记进错题本 | 权重、记忆库、提示词模板、工具集 | 是 | 有积累，但没有改进“如何改进” |
| 递归自进化（RSI） | 连学习方法论一起升级 | 优化器、元提示词、智能体源码、奖励生成机制 | 是，且改进本身变得更高效 | 才是真正的 RSI |
这与另一份综述的分级能对上：单次修补是 B0，跨轮次的执行、策略、经验、部署、元改进是 L1–L5。判断一个项目是不是 RSI，只看一件事：它改的东西里，有没有“产生下一次改进的机制”。
什么时候该用，什么时候别碰
原文列了四推荐三不建议，我认为判断标准可以再收紧一点。
适合
| 场景 | 为什么适合 | 典型做法 |
|---|---|---|
| 有客观、自动可验证的反馈信号 | 代码能否过测试、数学能否过验证器、算法跑得快不快、游戏得分高不高 | 单元测试 / 形式化验证 / benchmark 做裁判 |
| 人工调提示词和工作流已到瓶颈 | 十几个子模块 + 工具调用，人肉调参如盲人摸象 | DSPy、TextGrad 这类脚手架级优化 |
| 高质量人工标注枯竭 | 缺领域数据但有一定算力 | SPIN、R-Zero 这类自博弈/零数据自举 |
| 开放式环境的长期伴随任务 | 需要跨会话积累工具、技能、用户偏好 | Voyager、Letta、ACE |
不适合
| 场景 | 风险 |
|---|---|
| 纯主观、无外部锚点的任务 | 模型自评 → 自我迎合、多样性坍缩 |
| 毫秒级延迟、Token 成本极敏感 | 真递归往往要成百上千次探索与验证 |
| 无沙箱隔离的高危生产环境 | 自修改代码可能死循环、破坏环境、绕过限制 |
一句话：RSI 是把算力换成能力的手段，不是省算力的手段。 没有可靠裁判之前，递归只会更快地朝错误方向收敛。
落地五步：先划边界，再谈进化
原文的五步很实用，我把它整理成可执行版本：
| 步骤 | 做什么 | 关键细节 |
|---|---|---|
| 1. 划清能改什么 | 从低风险开始：提示词 → 记忆 → 工具 → 源码 → 权重 | 一上来就开放源码自改，是最常见的翻车起点 |
| 2. 配一个靠谱裁判 | 优先编译器、单测通过率、沙箱结果、benchmark | 必须用 LLM 裁判时，给明确 rubric 或让多模型投票 |
| 3. 让提议者对症下药 | 元智能体读失败日志、得分反馈、历史代码 | 输出必须是具体修改：改哪段、改成什么 |
| 4. 建版本档案馆 | 保留多个各有特点的历史版本，而非只留最新 | 通过验证、确认没变差才进主分支 |
| 5. 预算熔断与防退化 | 最大轮数、Token 上限、Docker 沙箱、独立留出集 | 留出集必须系统看不见、碰不到 |
第 5 步是最容易被跳过、也最容易出事的一步。没有独立留出集，系统实际上是在“自己出题、自己打分、自己录取”。
五大路线全景
路线一：模型权重与训练层
改什么：模型参数、微调数据、内部奖励信号。门槛：需要 GPU 训练。
| 工作 | 核心机制 | 一句话判断 |
|---|---|---|
| Self-Rewarding LMs（arXiv:2401.10020） | 同一模型兼任生成者与裁判，用 LLM-as-Judge 造偏好对，DPO 迭代 | 摆脱外部奖励模型，但裁判与选手同源，偏差会一起进化 |
| SPIN（arXiv:2401.01335） | 让当前模型与自己的旧版本对弈，人类数据当正样本 | 不增加标注，把已有 SFT 数据榨干；理论收敛到人类分布 |
| Quiet-STaR（arXiv:2403.09629） | 每个 token 位置生成内心独白解释后续文本 | 把“先想后说”内化到预训练，不是任务级 RSI，但是重要前置 |
| SEAL（arXiv:2506.10943） | 模型生成自编辑文本，经 SFT 转成持久权重更新，用下游表现做 RL 奖励 | 把自我修改从上下文推进到权重层，闭环最完整 |
这条路线适合手里有开源小模型或中型基座（Llama、Qwen），想提升数学、代码、指令遵循，但缺高质量标注的团队。工程形态是「生成 → 打分 → 微调（SFT/DPO/RL）」循环 3–5 轮，直到验证集收敛。
路线二：提示词与脚手架
改什么：提示词模板、优化器函数、工作流拓扑。门槛：只需要推理 API，不用 GPU。
| 工作 | 核心机制 | 一句话判断 |
|---|---|---|
| STOP（arXiv:2310.02304） | 把脚手架源码 + 评分函数交给模型，让它重写优化策略 | 实验里自己发明了集束搜索、遗传算法、模拟退火；递归改“改进器”的早期证据 |
| ADAS（arXiv:2408.08435） | 用代码定义智能体空间，Meta Agent Search 不断写新智能体并存档 | 把“设计智能体”变成搜索问题 |
| TextGrad（arXiv:2406.07496） | 用自然语言反馈代替数值梯度，沿计算图反传 | 复合系统的通用优化器，PyTorch 式写法 |
| DSPy（arXiv:2310.03714） | 声明式模块 + 编译器自动生成示例、改指令、微调权重 | 生产可用度最高的一条，换模型不用重写提示词 |
这是投入产出比最高的一条：不碰权重、可回滚、门槛低。代价是受底座能力上限约束——底座不会的任务，改脚手架补不上。
路线三：上下文、记忆与技能库
改什么：外部记忆网络、结构化上下文、可执行技能库。门槛：推理 API。
| 工作 | 核心机制 | 一句话判断 |
|---|---|---|
| Reflexion（arXiv:2303.11366） | 失败后写语言反思，存入情景记忆缓冲区，下次带上 | 用文字反馈替代梯度，成本最低的“经验积累” |
| Voyager（arXiv:2305.16291） | 自动课程 + 可增长技能库（代码形式）+ 迭代提示 | 技能即代码，可组合、可解释，天然抗遗忘 |
| A-MEM（arXiv:2502.12110） | 按 Zettelkasten 建结构化笔记、自动链接、记忆演化 | 记忆从静态仓库变成会生长的知识网络 |
| ACE（arXiv:2510.04618） | 生成器—反思器—整理器，增量式更新上下文手册 | 针对“简洁性偏差”和“上下文崩塌”，不整段重写 |
| MemEvolve（arXiv:2512.18746） | 连记忆架构本身一起进化，附 EvolveLab 统一实现 | 从“积累经验”升级到“进化学习机制”，最接近元改进 |
| Letta（原 MemGPT） | 有状态智能体平台，内置 core memory 读写工具 | 工程化最完整，适合长期伴随式 Agent |
这条路线最适合长期运行的 Agent：桌面操作、代码库维护、个性化助手。风险是记忆污染——一条错误经验会被反复检索、放大。
路线四：自我指向与代码自修改
改什么：智能体自身源码、元优化逻辑、目标算法实现。门槛：必须有代码沙箱。
| 工作 | 核心机制 | 一句话判断 |
|---|---|---|
| Gödel Agent（arXiv:2410.04444） | 运行时完整访问自身架构，按高层目标自主改写策略 | 概念验证：智能体可以成为自己改进的主体 |
| DGM（arXiv:2505.22954） | 改自身代码 + 编程基准实证验证 + 智能体档案库采样变异 | 用实证替代“可证明有益”，开放式演化树避免局部最优 |
| AlphaEvolve（arXiv:2506.13131） | LLM 改算法代码，评估器打分，优胜者进种群 | 在真实数学/工程问题上拿到可验证收益 |
| ShinkaEvolve（arXiv:2509.19349） | 父代采样 + 代码新颖性拒绝采样 + 多臂老虎机选模型 | 把评估次数压下来，开源可复现 |
| Hyperagents（arXiv:2603.19461） | 任务智能体 + 元智能体，元层修改流程本身也可编辑 | 去掉“任务=编程”的对齐假设，理论上支持任意可计算任务 |
这是最硬核也最危险的一条。原文强调必须 Docker 沙箱或隔离环境，我给一个更具体的底线：沙箱内的进程不能访问评测标准、不能访问生产凭证、不能访问控制平面。 否则“自修改”很快会变成“自己找到评分脚本并照着写”。
路线五：多智能体协同与全自动 AI 研发
改什么：协作策略、科研流程、训练代码。门槛：中到高，取决于实验规模。
| 工作 | 核心机制 | 一句话判断 |
|---|---|---|
| R-Zero（arXiv:2508.05004） | 出题者与解题者交替 RL，只有正确率接近 50% 的题给最高奖励 | 零数据自举的关键设计：用难度信号防“太简单/太难” |
| EvoAgentX（arXiv:2507.03616） | 五层架构，整合 TextGrad、AFlow、MIPRO 优化提示词与拓扑 | 把分散的 MAS 优化算法收进一个框架 |
| The AI Scientist（arXiv:2408.06292） | 想法→代码→实验→可视化→写论文→模拟评审 | 端到端流水线，但依赖模板、泛化有限 |
| AI Scientist-v2（arXiv:2504.08066） | 渐进式智能体树搜索 + VLM 反馈打磨图表 | 去掉人工模板，跨领域泛化更好 |
| autoresearch（Karpathy） | 单卡上自动改 train.py，每次训练 5 分钟，val_bpb 变好就保留 | 极简参考实现，最适合自己动手改造 |
这条路线里，R-Zero 的难度奖励设计最值得单独抄：出题者只有在“解题者正确率接近 50%”时才拿高分，天然把课程维持在最近发展区。比“随机出题 + 全对/全错都算成功”稳得多。
选型速查
| 你的诉求 | 该走哪条路线 | 首选框架 | 成本量级 |
|---|---|---|---|
| 用闭源 API 做业务，想自动提升准确率，不想手调 Prompt | 提示词与脚手架 | DSPy 或 TextGrad | 极低（几十美元 API 费，数十分钟） |
| 长期运行 Agent，希望越用越懂业务、记住教训、攒工具 | 上下文与记忆 | Letta、ACE 或 A-MEM | 低（无需训练） |
| 想自动搭建并优化多智能体拓扑 | 多智能体协同 | EvoAgentX | 低到中（验证集 API 消耗） |
| 有明确指标的算法/代码优化难题 | 代码自修改 | OpenEvolve 或 ShinkaEvolve | 中（数百次 API 调用 + 沙箱测试） |
| 有 GPU，想让 AI 自己改训练脚本或微调开源模型 | 权重层 / 自动研发 | autoresearch、SPIN 或 R-Zero | 中到高（过夜算力） |
如果只能选一条起步：先 DSPy，再 ACE/Letta，最后才考虑碰权重和源码。 顺序反了，你会先用最贵的方式得到最不可控的结果。
核验：23 篇论文与 19 个仓库
原文引用了大量论文与仓库。我按 arXiv API 与 GitHub API 逐条核对（2026-11-12）：
- 23 个 arXiv 编号全部存在，标题与原文描述一致，包括两条总览参考（arXiv:2607.07663《Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops》）与最新的 Hyperagents（arXiv:2603.19461）。
- 19 个 GitHub 仓库全部可访问，其中两个需要更新地址：EvoAgentX 已迁至
ANative-Lab/EvoAgentX，Hyperagents 仓库实际为facebookresearch/HyperAgents。
几个值得注意的活跃度差异：
| 仓库 | 许可证 | 最后推送 | 提示 |
|---|---|---|---|
| microsoft/stop | MIT | 2024-01 | 论文参考实现，长期未更新，勿当生产依赖 |
| MineDojo/Voyager | MIT | 2024-04 | 同上，复现需锁版本 |
| noahshinn/reflexion | MIT | 2025-01 | 概念验证代码 |
| stanfordnlp/dspy | MIT | 2026-11 | 持续活跃，可生产使用 |
| letta-ai/letta-code | Apache-2.0 | 2026-11 | 持续活跃 |
| ANative-Lab/EvoAgentX | 自定义（NOASSERTION） | 2026-10 | 商用前需读 LICENSE |
| SakanaAI/AI-Scientist | NOASSERTION | 2025-12 | 许可证需自行确认 |
研究代码和生产框架要分开看：论文仓库的价值是复现与思路，不是稳定性承诺。
五条给工程团队的经验
1. “能改文件”不等于“能改机制”
多数项目只做到结构递归：跑任务、收反馈、改配置、验证保留。真正的 RSI 要证明“改进能力本身在变强”，这必须靠消融实验（继承经验 vs 重置经验）来验证，不能靠 demo 演示。
2. 裁判与被改进对象要尽量不同源
Self-Rewarding 这类方法天然有同源风险：模型越强，越会用同一套盲区给自己打分。工程上更稳的做法是分层裁判——单测/编译器做硬门槛，LLM 只判主观项，关键决策加人工抽检。
3. 演化成本要单独算
框架演示通常只报“一次任务多少钱”，不报“演化出这套配置花了多少”。真实决策要算三笔：单任务执行费、单次成功成本、含离线演化的摊销总成本。
4. 沙箱是前置条件，不是可选项
自修改代码、自动科研、多智能体实验都要求：独立容器、默认拒绝外网、无生产凭证、评测标准不可达。原文里那句“无安全沙箱隔离的高危生产环境不建议使用”，应该升级成硬性上线门槛。
5. 记忆与技能库需要淘汰机制
记忆类路线（ACE、A-MEM、MemEvolve、Letta）解决的是“怎么记住”，但很少解决“记错了怎么办”。上线时要配：条目级效果追踪、过期归档、冲突合并、人工审批写入。
结语
这五条路线本质上是在回答同一个问题：把改进的权力交给系统的哪一部分。 交给提示词，成本最低、上限也最低；交给记忆，最贴近真实业务，但要防污染；交给源码和权重，能力上限最高，风险也最集中。
如果要用一句话概括这份全景图的实用价值：先用最便宜的那条路线把评测闭环跑通，再考虑把改进权交给更深的层。 没有可靠裁判的递归，只是把错误做得更快。
参考资料
- 微信公众号「AI-Frontiers」：《一文读懂 RSI：大模型递归自进化五大技术路线全景解析》，2026-10-28，https://mp.weixin.qq.com/s/shogmWqsWOZ6XfM40CAVLw
- RSI 综述：arXiv:2607.07663，https://arxiv.org/abs/2607.07663
- 本站前文：《RSI 与 Harness：2026 年 Agent 自我改进的五条工程主线》，https://zhupite.com/dev/rsi-harness-agent-self-improvement.html
- 论文（按路线）：https://arxiv.org/abs/2401.10020、https://arxiv.org/abs/2401.01335、https://arxiv.org/abs/2403.09629、https://arxiv.org/abs/2506.10943、https://arxiv.org/abs/2310.02304、https://arxiv.org/abs/2408.08435、https://arxiv.org/abs/2406.07496、https://arxiv.org/abs/2310.03714、https://arxiv.org/abs/2303.11366、https://arxiv.org/abs/2305.16291、https://arxiv.org/abs/2502.12110、https://arxiv.org/abs/2510.04618、https://arxiv.org/abs/2512.18746、https://arxiv.org/abs/2410.04444、https://arxiv.org/abs/2505.22954、https://arxiv.org/abs/2506.13131、https://arxiv.org/abs/2509.19349、https://arxiv.org/abs/2603.19461、https://arxiv.org/abs/2508.05004、https://arxiv.org/abs/2507.03616、https://arxiv.org/abs/2408.06292、https://arxiv.org/abs/2504.08066
- 框架：https://github.com/stanfordnlp/dspy、https://github.com/zou-group/textgrad、https://github.com/letta-ai/letta-code、https://github.com/ace-agent/ace、https://github.com/agiresearch/A-mem、https://github.com/ANative-Lab/EvoAgentX、https://github.com/SakanaAI/ShinkaEvolve、https://github.com/algorithmicsuperintelligence/openevolve、https://github.com/jennyzzt/dgm、https://github.com/facebookresearch/HyperAgents、https://github.com/karpathy/autoresearch
来源字段：2026-10-28｜微信公众号「AI-Frontiers」｜https://mp.weixin.qq.com/s/shogmWqsWOZ6XfM40CAVLw ｜以“修改对象”为轴，把 LLM 递归自进化拆成模型权重、提示词脚手架、上下文记忆、代码自修改、多智能体研发五条路线，逐条列出代表论文与开源框架并提供选型表｜适合需要判断“该不该做 RSI、从哪一层开始”的团队，可作为技术路线选择的起点与论文索引。
文档信息
- 本文作者：zhupite
- 本文链接：https://zhupite.com/ai/rsi-five-technical-routes.html
- 版权声明：自由转载-非商用-非衍生-保持署名（创意共享3.0许可证）