Browse this library

Chinese source article

8 · 代表性系统

用 Coding、Web 与 Research 三类系统比较持久环境、部分可观测状态、验证器和停止条件。

View original Markdown ↗

代表性系统按环境与闭环机制组织。产品名称、模型版本和功能列表变化很快,代码仓库、网页界面与开放资料空间的状态性质却相对稳定。它们分别突出持久工作树、部分可观测业务页面和开放证据搜索,也共享动作改变后续状态、长程误差累积与独立验证等问题。

本章选择 Coding、Web 和 Research 三类系统,用完整任务串联前文的状态机、上下文、规划、安全、训练和评测,产品列举不作为组织轴。每个案例都要回答环境事实在哪里、动作怎样提交、观察为何可信、完成由谁验证,以及失败后能否恢复。

1. 三类环境

1.1. 持久仓库

Coding Agent系统面对文件、依赖、版本历史、测试与用户未提交修改。补丁会持久改变工作树,后续搜索和测试都基于新版本。环境提供较强的结构工具与 verifier,因此适合研究长程闭环和架构修复。

仓库也具有隐藏状态:缓存、环境变量、生成物、数据库和后台进程可能不在 diff 中。测试通过只能证明指定检查在某环境成立,不能自动覆盖浏览器、并发或生产配置。交付需要同时核对代码终局和工作树归属。

Coding Agent 的典型动作是读取、搜索、patch、命令与测试。编辑具有版本前置条件,命令具有资源和副作用边界,提交与推送属于额外授权。结构化 diff 让动作可审查,不意味着任意补丁都安全。

1.2. 动态网页

Web与Research Agent系统中的浏览器环境是部分可观测的。DOM、可访问树、截图和网络响应分别呈现真实状态的一部分;登录、滚动、弹窗与异步更新使同一页面持续变化。

网页动作从可逆导航跨越到购买、发送和删除。点击成功不等于业务完成,UI 提示也不一定是权威事实。高风险动作在提交前核对对象、参数和总效果,提交后从账户或后台状态验证。

元素引用随页面版本失效。可靠系统用语义与结构重新定位,不把旧坐标永久复用。页面内容又是不可信输入,即使诱导模型读取密钥或上传文件,浏览器外的能力边界仍应拒绝。

1.3. 开放知识空间

Research Agent 在不可穷尽的资料空间中选择查询、来源和阅读深度。搜索摘要是线索,原始页面与论文才可能成为证据。来源之间存在转载、冲突、过时和访问限制,页面数量不能直接转成置信度。

研究状态以主张—证据图表示:哪些结论已有直接支持,哪些是系统推断,哪些冲突未解决,哪些关键主张尚无来源。最终文字从这张图生成,引用需要贴近并实际蕴含主张。

停止是核心动作。找到一个支持观点的页面通常过早,无限搜索相似转载又浪费成本。系统依据关键主张覆盖、独立来源、冲突和最近查询的边际增益决定停止,并把残留不确定性带入交付。

2. 共同闭环

2.1. 观察—动作—验证

三类系统都可表示为部分可观测控制过程。策略根据当前 belief 选择动作,环境产生观察并改变状态,verifier 检查阶段或终局。仓库搜索、页面定位和资料检索都属于主动获取信息;patch、表单提交和结论写作则把当前判断转成持久产物。

观察不等于事实全貌。测试日志可能被截断,DOM 可能包含隐藏节点,搜索摘要可能省略限定条件。系统保存来源、版本和截断状态,再用其他通道交叉验证。模型流畅复述 observation 不会提高它的可靠性。

验证器读取策略难以伪造的状态。代码由测试与仓库差异验证,网页提交由后台业务记录验证,研究主张由原始来源与蕴含关系验证。verifier 自身也需测试,避免策略利用漏洞或等价正确结果被拒绝。

2.2. 状态与版本

每个动作绑定环境版本。patch 引用文件哈希,点击引用页面版本,研究结论引用来源访问时间与内容哈希。环境变化后,旧计划相关节点失效;系统重新观察,而非凭旧坐标、旧测试或旧价格继续行动。

长任务用结构化检查点保存目标、已提交效果、未解决问题和验证状态。文本摘要负责压缩语义,不能替代资源版本、动作 ID 和审批记录。服务重启后从外部事实水合,高风险未知动作不自动重放。

并发会增加状态冲突。两个代码编辑可能改同一文件,多个标签页可能操作同一购物车,新资料可能在写作期间更新结论。Runtime 检测版本分叉,并要求合并或重新验证,拒绝按到达顺序静默覆盖。

3. 不同风险中心

3.1. 环境副作用

Coding 与 Web 系统都会改变外部世界。代码改动通常可通过版本控制回滚,但依赖安装、数据库命令、推送和部署未必完全可逆;网页购买、发送与授权则可能立即扩散。能力按资源和动作收窄,不用一个通用工具权限覆盖全部操作。

Research 查询主要改变认知状态,但仍有网络隐私、付费访问和信息外泄风险。研究结果一旦用于医疗、法律或采购,错误证据又会转化为现实副作用。因此来源质量和不确定性属于安全边界的一部分。

不可逆点之前采用预览、审批和参数哈希,之后采用状态查询与补偿。超时只表示响应未知,不能推断动作未执行。三类系统都需要幂等动作或明确的未知提交状态。

3.2. 主要失败模式

Coding Agent 常见失败是误读仓库事实源、局部补丁掩盖状态不变量、测试覆盖错觉和污染用户工作树。Web Agent 常见失败是元素失效、页面状态误读、重复提交和提示注入。Research Agent 常见失败是引用搜索摘要、来源伪独立、主张扩大和停止失衡。

共同失败是把模型声明当环境事实。模型说测试通过、订单成功或来源支持,都需要独立证据。另一个共同失败是用更多 token 替代状态组织;上下文越长,旧版本和无关观察也可能越多。

故障诊断定位首次偏离并按模型、工具、执行器、环境、观察和 verifier 分层。末端症状经常来自早期错误,直接修改提示词可能压住一个案例,却没有修复责任层。

4. 机制比较

4.1. 规划与停止

Coding 计划由依赖与测试反馈约束,通常在完成谓词满足后停止。Web 计划受页面可达性、会话和提交边界影响。Research 计划更开放,需要显式信息覆盖与边际价值规则。固定长计划在三者中都容易因新观察失效。

短视策略可能在代码中反复修编译错误,在网页中只点击当前显眼按钮,在研究中追随第一条搜索结果。分层计划保留目标与子目标,执行层根据即时状态选择动作。重规划应复用已验证成果,不从头清空。

停止过晚也有风险。无意义代码重构扩大 diff,继续浏览增加误操作机会,继续搜索引入低质冲突。预算只是硬上限,策略还要识别目标已满足或信息增益已耗尽。

4.2. 训练与评测

三类系统的 SFT 轨迹都需区分模型动作与环境 observation。恢复样本分别覆盖测试失败、页面变化和来源冲突。强化学习的 verifier 必须独立于策略可修改状态,奖励不能鼓励删测试、伪造页面或堆引用。

终局指标分别是补丁满足需求、业务状态正确和主张证据充分。过程指标观察有效动作、恢复、成本与风险。公开任务可能污染,动态网站又有环境漂移,实验报告固定模型、Harness、环境和时间。

机制消融比产品榜单更有解释力。关闭版本检查、多模态观察、后台验证或来源去重,观察对应故障是否上升;只换产品会同时改变模型、工具和预算,无法知道原因。

5. 系统设计结论

5.1. 确定性工具与模型策略

确定性工具适合语法解析、符号索引、DOM 提取、哈希、去重和状态查询。模型适合目标理解、假设形成、证据权衡和异常路径规划。把结构工作交给模型会增加随机错误,把开放判断硬编码成规则又会失去适应性。

复合工具应减少无意义步骤,同时公开计划、实际效果和版本。一个内部做了许多写操作却只返回“成功”的工具,破坏了轨迹诊断。抽象边界的标准是能否保留审查和验证,而非调用次数是否最少。

强模型无法取代 Runtime 的权限、幂等与状态机;强 Runtime 也无法替代语义理解。两者通过明确动作 schema 和 observation 接口协作,评测则分别固定变量识别收益来源。

5.2. 可回答的交付

成熟系统应回答:初始环境是什么,采取了哪些动作,观察来自哪里,环境实际改变了什么,终局由谁验证,哪些状态仍未知。Coding 系统用 diff、命令与测试回答,Web 系统用页面与后台记录回答,Research 系统用主张—证据图回答。

这些证据比事后生成的解释更可靠。解释可以帮助用户理解,却不能覆盖缺失 trace。发生故障时,事件链支持反事实重放与责任定位;完成任务时,同一条链支持审查和复现。

代表性系统最终展示的是一套通用架构:版本化环境、受控能力、显式状态、主动观察、可审查动作、独立 verifier 和统计评测。环境不同会改变实现重心,但不会取消这些约束。