Browse this library

Chinese source article

Agent:从行动循环到可验证系统

沿行动、工具、状态、规划、运行时、训练、评测与代表性系统八条主线,建立 LLM Agent 的完整知识地图。

View original Markdown ↗

适合工程分析的 Agent 定义是:系统围绕一个目标读取当前状态,由模型或其他策略提出动作,经接口校验后作用于外部环境,再把观察与验证结果写回状态,直到完成、失败或预算耗尽。一次模型生成或若干次无环境反馈的重复调用不构成这样的闭环。模型只是闭环中的决策部件;工具、环境、状态、权限、验证器和停止条件共同决定系统能否完成任务。

这一定义给出了本库的分类轴。前四章从策略侧解释 Agent 如何行动:行动循环规定一次迭代有哪些状态;工具与环境接口规定动作怎样被表达和执行;上下文、记忆与技能规定模型当轮能看到什么;推理、规划与反馈规定系统怎样选择和修正动作。后三个机制若全部塞进提示词,常见结果是历史持续膨胀,计划与事实混杂,错误结论在后续轮次反复出现。

后四章从系统与研究侧继续展开。Runtime 负责把不稳定的模型输出变成受预算、权限和状态机约束的执行过程;训练研究模型怎样从工具轨迹和环境奖励中获得 Agent 能力;评测关注最终环境状态、轨迹质量、成本与风险;代表性系统则比较 coding、web 与 research agent 如何组合前述部件。它们采用同一组分析问题,因此系统名称不会取代机制分类。

1. 一张闭环图

1.1. 策略与控制面

任务与约束
    ↓
状态构造 → 模型策略 → 动作提议 → 接口校验 → 环境执行
    ↑                                      ↓
停止/重规划 ← 完成验证 ← 状态提交 ← 结构化观察

模型策略回答“下一步候选动作是什么”,控制面回答“这个动作是否允许、是否成功、结果是否已经提交”。两者不能用同一个自然语言字段含混表示。模型声称文件已修改,不等于文件系统发生变化;工具返回成功,也不等于任务目标已经满足。验证器必须从环境读取可复查证据。

状态也不等同于聊天记录。一次运行至少包含任务约束、已提交事实、待执行动作、工具结果、预算和终止原因。对这些字段建立显式结构,才能重放轨迹、比较策略并定位失败发生在模型、接口还是环境。

1.2. 八章怎样连接

1-Agent基础与行动循环建立共同对象与状态转移。2-工具与环境接口讨论 action space、函数调用、MCP 与 ACI。3-上下文记忆与技能处理工作状态、持久记忆和按需加载的流程知识。4-推理规划与反馈说明分解、搜索、反思和验证反馈分别改变哪一部分决策。

5-Runtime可靠性与安全覆盖状态机、沙箱、权限、恢复和 trace。6-Agent训练区分工具监督微调与基于环境结果的 agentic RL。7-Agent评测从终局、轨迹、成本和安全四个层面建立口径。8-代表性系统用 coding、web 和 research 三类系统检验前述框架。

2. 阅读路线

2.1. 从零建立系统观

第一次学习可以按 1→2→3→4→5 前进。这个顺序先固定“状态—动作—观察”的共同语言,再讨论模型看到的信息和决策方法,最终进入运行时。直接从框架 API 开始,容易把某个库的类名误认为通用部件,也难以解释更换 Harness 后为什么同一模型表现不同。

已经在做应用的读者可从故障进入:工具经常选错,读第 2 章;任务越长越混乱,读第 3、4、5 章;离线分数很好而线上失败,读第 7 章。每章首页给出共同问题,正文页负责完成一个闭合论证,不按论文名称堆目录。

2.2. 训练与研究路线

研究 Agent 模型能力时,先读第 2、4 章明确动作空间与反馈,再进入第 6 章。工具监督数据教模型生成可执行动作,强化学习则需要环境、采样策略和可归因奖励;两类方法的数据分布和失败方式不同。第 7 章随后回答训练信号是否真的转化为任务完成率,而非只提高格式正确率。

第 8 章适合作为反向检查。Coding agent 的核心环境是仓库、终端与测试;web agent 面对部分可观测页面和持续变化的 DOM;research agent 需要检索、证据合并与引用核验。同一种“规划”在三个环境中的动作粒度、验证器和成本并不相同。

3. 与相邻知识库的边界

3.1. RAG 与多 Agent

RAG 关注外部证据怎样被索引、召回、重排并进入回答,完整机制位于 RAG 知识库。本库只讨论检索作为一种工具动作时,查询如何由策略产生、结果怎样写回状态、引用如何被验证。检索循环变成 Agent,不会改变召回器和索引本身的分析方法。

多 Agent 关注角色、通信拓扑、任务分配与联合信用分配。它不是单 Agent 的必备层,也不能自动消除上下文和规划问题。本库仅在运行时和代表性系统中说明进程隔离、消息契约与结果回传;系统化协作应进入独立专题。

3.2. 长程任务

长程任务把目标保持、状态压缩、错误恢复和预算控制推到更严苛的范围,详见 Long Horizon 知识库。本库讨论这些部件的基础机制,不重复按任务时长重新组织一遍。一个 Agent 能连续运行很久,也不代表它能保持正确目标或从早期错误恢复。

边界的用途是减少重复:Agent 库回答行动闭环怎样成立,相邻库继续研究检索质量、协作结构或长时间尺度。交叉处使用链接,不把所有带“agentic”的主题吞进同一棵树。

4. 比较系统的统一口径

4.1. 四类结果

比较 Agent 时需要同时记录四组结果。环境终局包括代码是否通过测试、网页事务是否正确提交、研究结论是否被来源支持;轨迹包括动作是否有效、失败后是否利用观察修正、是否出现循环;成本包括模型 token、工具调用、墙钟时间和外部服务费用;安全结果包括越权动作、敏感数据泄漏和不可逆副作用。

单一成功率无法覆盖这些维度。两个系统都完成任务,其中一个可能依赖大量无效调用,另一个可能通过过宽权限绕过正常路径。只有同时保存任务版本、环境镜像、Harness 配置与完整 trace,结果才具有可比较性。

4.2. 证据与材料组织

本库以论文、协议规范、官方系统说明和可运行仓库为主要材料。综述用于建立分类,但具体机制尽量回到原始工作。产品名称变化快,因此正文优先记录稳定的接口与控制问题,不用功能发布列表组织知识。

每个章节首页承担共同定义和比较口径,核心正文分别完成机制论证。目录最多使用 1.1.1 三级编号;若三级主题将来需要收纳多篇论文或案例,内部改用局部 01-、02-,不继续制造第四级知识层次。