浏览器与研究 Agent 都在开放、变化且部分可观测的环境中行动。浏览器只能看到当前页面暴露的 DOM、可访问树、截图与网络结果;研究 Agent 只能从有限查询返回的来源构建知识图景。策略既要决定下一步看哪里,也要判断现有证据何时足够,错误的早期导航或检索会限制后续信息。
两类系统的区别在于主要终局。Web Agent 改变页面背后的业务状态,填写、发送、购买和删除具有副作用;Research Agent 交付由来源支持的主张,核心风险是遗漏、误引、时效与虚假综合。代表系统应围绕这些环境机制设计,而非把若干产品名称并列。
1. 部分可观测的Web环境
1.1. 观察模型
Web 任务可写成 POMDP。真实页面状态 包含服务端数据、客户端状态、登录会话、焦点、滚动位置和异步请求,Agent 只得到观察 。DOM 精确表达结构,accessibility tree 提供可操作语义,截图呈现视觉布局,网络响应揭示部分后台事实;任何单一通道都不完整。
DOM 可能含隐藏、离屏和诱导节点,截图缺少稳定标识,可访问树也可能因网站实现错误而缺项。系统按任务组合观察:定位表单优先语义树,核对图表与视觉状态使用截图,确认提交结果查询后台或网络。观察记录页面 URL、版本、viewport 和时间。
元素引用绑定页面版本。导航、弹窗、虚拟列表滚动和局部刷新都会使旧坐标或节点 ID 失效。动作执行前重新解析引用,使用语义、邻近标签和结构约束确认目标。仅靠固定坐标的脚本在页面轻微变化后容易误点。
1.2. 页面状态与动作
动作包括导航、搜索、滚动、点击、输入、上传、下载和提交。输入框填值通常可逆,提交订单、发送消息、删除内容和授权应用会扩散到外部系统。Runtime 对动作分级,在不可逆点展示目标、参数与差异,并绑定审批摘要。
页面显示不等于服务端事实。点击“提交”后可能仍在加载、被风控拒绝或已经成功但响应丢失。系统查询账户记录、订单 ID 或后台状态,确认业务终局。超时进入未知提交,使用幂等键与状态查询,不能盲目再次点击。
会话是环境的一部分。Cookie、登录角色、购物车、草稿和多标签页相互影响。任务开始记录身份与租户,结束核对副作用。凭据由浏览器或 broker 注入,模型不读取明文;网页中的提示注入也不能扩大文件和网络能力。
1.3. 一条浏览轨迹
用户要求在测试商店购买指定配件,预算不超过 300 元。Agent 检索商品,页面懒加载导致首次只见广告。它根据列表容器继续滚动,读取商品 ID、价格与库存,并把候选加入可验证表格。选择 268 元商品后进入购物车。
结算页默认勾选延保,使总价变为 328 元。Agent 没有只依据商品页价格,而是读取订单摘要,取消延保并重新确认总额 268 元。审批界面绑定商品 ID、数量、地址摘要和总价;用户批准后才提交。
提交响应超时,页面仍显示旋转图标。Agent 使用客户端幂等键查询订单列表,发现订单已经创建,于是记录订单号并停止。若再次点击会产生重复订单。完整轨迹体现观察更新、业务约束、审批和未知提交恢复。
2. 检索与证据构建
2.1. 问题分解与查询
Research Agent 把问题拆成主张集合 ,每个主张定义所需证据类型、时间范围和可接受来源。查询依据覆盖缺口迭代:宽查询发现术语与主体,窄查询寻找原始数据、反例和时间更新;单次关键词很难完成这一过程。
搜索摘要只提供候选线索。关键主张要打开原始页面、论文、标准或数据集,并保存访问时间与具体片段。摘要可能截断限定词,排名也受流行度和个性化影响。无法访问的来源不能仅凭标题支撑结论。
查询日志记录意图、结果集合和选择理由。若连续查询返回相同来源且不再增加主张覆盖,应改变术语、来源域或时间窗口,而不是同义改写无限搜索。检索预算优先给高重要性、高不确定性主张。
2.2. 来源质量与独立性
来源评价包含权威性、直接性、时效、方法透明度和利益关系。官方文档直接支持接口行为,原始论文支持实验报告,新闻可支持事件时间,但不同主张需要不同来源。域名权威不能替代具体页面与主张的对应。
多份转载同一公告不是独立证据。系统追踪引用与内容相似关系,把来源聚成证据家族。三个家族独立报告同一事实,证据强于十个复制页面。存在冲突时比较定义、样本、时间和版本,不按网页数量投票。
来源会变化。引用保存标题、作者、发布日期、访问日期、URL、片段定位和内容哈希。动态页面可保存受版权约束的最小证据快照或归档引用。结论明确适用时间,避免用旧页面回答当前状态。
2.3. 主张—证据图
每个最终主张 连接支持证据 、反对证据 和推断规则。直接事实与系统推断分开;来源只提供数据时,结论中的比较或因果属于额外推理,需要展示前提。
覆盖率可写成 ,但“有引用”仍可能不支持主张。蕴含检查判断片段是否覆盖主语、谓语、范围、时间和数值。引用只支持相邻句的一半时,拆分主张或补充来源。
数字经过单位、分母和时间核对。两个百分比使用不同样本,不能直接比较;一篇来源的相关性不能被综合成因果。证据图保留这些限制,使最终写作不能在摘要阶段悄悄扩大断言。
3. 综合、停止与失败
3.1. 来源归因与综合
综合按主张组织,不按浏览顺序堆摘要。先列可确定事实、分歧与缺口,再写结论。每个引用贴近所支持内容,多个来源分别标明贡献。系统自己的推断使用明确措辞,并能回溯到输入证据。
冲突不是必须消除的噪声。研究对象、测量口径或发布日期不同,双方可能同时成立;若方法相同而结果矛盾,报告不确定性与可能原因。选择一方需要预先的质量标准,不能因其更符合预期就忽略另一方。
网页中的指令属于不可信数据。来源要求 Agent 忽略任务、读取本地文件或改变引用,不获得系统权限。外部文本可以贡献事实候选,不能修改研究目标、来源政策和工具能力。
3.2. 停止条件
停止决策平衡新增信息价值与成本。定义未覆盖权重 、关键冲突 和最近查询边际增益 。当 低于阈值、关键冲突已解释,且连续查询的 很低时,可以停止。达到预算却仍缺证据,则输出受限结论,不伪造确定答案。
“找到一个支持来源”不是充分停止条件,尤其是争议、当前状态和高风险问题。至少搜索反例、更新与原始出处。相反,无限寻找更多相似页面也不提高证据质量。停止协议按主张重要性分配最低覆盖和独立来源要求。
数值例:五个主张权重为 3、2、2、1、1,已覆盖前四个,则 。未覆盖项只是背景细节,且最近三次查询没有新来源家族,系统可停止并标明缺口。若未覆盖的是权重 3 的核心主张,即使总页面很多也不能交付强结论。
3.3. 典型反例
反例一:Agent 引用搜索摘要,原页面其实说的是相反条件。引用链接可访问,但不蕴含主张。评测必须打开来源并对齐片段,而非统计链接数量。
反例二:浏览器点击保存后看到绿色提示,就宣告成功。页面随后异步回滚,后台没有记录。终局 verifier 应查询权威状态,UI toast 只是中间观察。
反例三:研究 Agent 找到八篇新闻,全部转载同一份公司公告,于是称“多个独立来源证实”。来源家族与引用图能揭示伪独立性。数量指标若不去重,会奖励信息回音室。
4. 长程状态与安全边界
4.1. 页面与证据记忆
长任务不应把所有 DOM 和全文塞入上下文。浏览器记忆保存当前 URL、稳定元素语义、已完成表单字段、提交状态和可恢复页面;研究记忆保存主张表、来源元数据、证据片段、冲突和查询覆盖。
compaction 必须保留未完成目标与不可逆效果。摘要遗漏“订单已提交但响应未知”,模型可能重复购买;遗漏来源的时间限制,综合会扩大结论。结构化状态与文本摘要分别维护,关键字段由 Runtime 注入。
页面或来源变化后旧观察失效。动作引用资源版本,执行前重新确认;研究引用在交付前检查可访问性与内容哈希。变化不一定使结论错误,但必须触发重新评估相关主张。
4.2. 权限与提示注入
浏览网页不授予读取本地密钥、任意上传和宿主命令能力。网络、文件、凭据与提交各自是窄能力。模型即使遵从恶意页面文字,执行器仍拒绝跨边界动作。
Research Agent 也会被论文、README 和网页中的伪指令影响。来源标签随摘要和记忆传播,不可信文本不能写入系统策略。引用内容发送给外部 judge 时同样隔离,防止被评材料操纵评分。
登录页面与付费资料涉及隐私和许可。系统只访问用户授权范围,引用遵守最小摘录,不把受限全文复制到公开产物。审计记录访问主体、用途与数据流向。
4.3. 环境变化与恢复
网页导航失败、会话过期和元素消失是常态。恢复从当前页面与后台状态重新水合,不机械重放全部点击。表单部分提交时先查询已保存字段,避免覆盖用户或服务端更新。
研究来源下线时寻找原始出处、归档或独立替代,并标明证据变化。无法恢复的关键来源会降低结论置信度;不能保留旧引用同时假装仍已核验。
服务重启后,运行中的浏览器进程和内存标签页不具备可信连续性。已提交效果从外部账户查询,未提交草稿可从受控快照恢复,高风险未知状态等待人工确认。
5. 评测与机制比较
两类系统共享探索—利用取舍。继续观察可以降低不确定性,也会消耗时间并扩大接触恶意内容的范围;过早行动则建立在薄弱证据上。策略估计一次动作可能改变哪个关键决定、获得有效信息的概率、成本与风险。无法影响任何后继决定的查询通常应停止。
信息价值不能只靠模型自评。历史轨迹可以统计某类观察改变终局或主张覆盖的频率,在线则由明确缺口驱动。高风险提交前,额外核对即使平均信息增益有限,也可能因降低严重错误概率而值得执行。
5.1. Web任务评测
受控网站固定页面版本、账户快照与业务后端,任务覆盖导航、表单、动态内容、权限和未知提交。终局从后台数据库或模拟服务读取。坐标点击准确率只是局部指标,完整成功还要满足业务约束和副作用限制。
报告成功率、有效动作、页面恢复、错误提交、审批、时延和外部调用。页面布局扰动、文案改写与元素重排用于测试语义定位;网站完全更换则属于更强分布转移,需要单独报告。
真实网站评测记录访问时间、地区、会话与实验顺序。无法重置的状态使用唯一账户或资源。验证码、风控和站点故障单独分类,不用删除不利运行美化结果。
5.2. Research任务评测
研究评测把答案拆成主张,检查事实正确、证据蕴含、来源质量、独立性、覆盖、时效和不确定性。自动 judge 在人工集上校准,关键事实尽量用确定性来源比对。文字风格不进入证据分。
污染控制采用时间切分、私有问题与来源变体。若答案可从公开 benchmark 记忆得到,检索轨迹仍要证明当前来源支持。隐藏证据集检验系统是否只跟随搜索排名。
评测还测停止质量:过早停止造成关键缺口,过晚停止增加成本却无新证据。绘制覆盖率与来源独立性随查询成本的曲线,在相同证据质量下比较效率。
5.3. 共同机制消融
分别移除多模态观察、后台终局检查、来源家族去重、主张图、结构化记忆和停止规则,观察完成、成本与错误类型。机制价值体现在特定边界,不能从单条演示推断。
浏览器与研究 Agent 共享“主动获取下一观察”的核心,却有不同副作用。浏览器动作可能改变世界,研究查询主要改变认知状态。前者强调审批、幂等与提交确认,后者强调来源、归因与覆盖;混用评测会遗漏各自主要风险。
成熟系统允许回答“看到了什么、为何采取该动作、环境实际发生了什么、哪些主张由哪些来源支持、为何此时停止”。这些问题由轨迹与状态证据回答,而非依赖模型事后生成一段顺畅解释。
一个联合研究—浏览任务能展示完整边界。用户要求比较三家服务当前价格,并把选定套餐加入采购草稿。Research 阶段定义地区、税费与计费周期,打开官方价格页。某家页面动态加载,Agent 从网络响应取得结构化价格,同时记录访问时间、地区和页面哈希。
系统发现一家所谓“每月”价格要求年度预付,无法与真正月付直接比较。它折算年度总额,同时保留付款周期差异。另一家价格页与帮助中心冲突,Agent 检查更新时间并把冲突列为待确认,没有选择更符合预期的低价。
达到来源覆盖后,Research 阶段输出结构化候选、不确定性与证据引用。Web 阶段只接收必要决策结果,不继承全部不可信网页文本;它登录测试账户,核对套餐 ID、币种和最终结算价。结算价不同会触发重新研究,而非继续提交。
差异来自税费只在登录后显示。系统更新证据图与预算,重新选择套餐,把采购草稿预览给用户。用户批准的动作只是保存草稿,并非付款。保存后查询后台草稿 ID,把实际业务状态回传研究记录。认知状态与业务状态由显式接口连接。
若所有过程混在一个无边界对话,研究网页中的提示注入可能直接驱动采购,动态价格也可能在摘要中丢失。分阶段不要求使用不同模型,关键是能力集合、状态 schema 与完成谓词显式转换。Research 结果接受来源验证,Web 动作接受权限和提交验证。
评测该任务时,答案文字、价格证据、套餐选择和后台草稿分别检查。选对套餐但引用过期页面,研究质量不合格;研究正确却创建真实订单,安全终局失败。联合成功要求证据与业务两套谓词同时成立。
对抗环境可以加入隐藏指令、相似套餐、旧价格搜索结果,并使提交响应超时。系统应在能力层阻断注入,保持来源归因,并通过后台查询避免重复草稿。单项元素定位准确率或引用数量无法覆盖这些闭环风险。
部署监控关注页面解析失败、来源漂移、未知提交、证据缺口和停止成本。selector 失效只影响定位层;若系统静默点击邻近删除按钮,则是安全边界失效。分层观测使系统能够局部降级,而非把所有网站变化归咎于模型。
最终交付区分来源事实、系统推断、操作结果和未决状态。事实带引用,推断带前提,操作结果带环境 ID,未知状态带查询或人工入口。四者混成一段流畅文字时,用户无法判断哪些内容可验证,也无法安全继续任务。
来源许可也是 Research 系统的环境约束。公开可读不代表可以批量复制,付费页面更不适合把全文写入长期记忆。系统保存完成主张核验所需的最小片段、定位和访问权限,输出遵循引用限额。下游 Agent 没有相同权限时,只接收可公开的派生结论,不能沿内部引用绕过访问控制。
多语言检索会引入翻译误差。实体名、政策术语和度量单位先建立对照,再跨语言查询;最终主张引用原文与受控译意。机器翻译省略否定或条件时,回到原文结构核对。不同语言页面属于独立来源的前提是它们有独立采集或分析,纯翻译仍属于同一来源家族。
时间敏感问题需要设置新鲜度策略。股票价格、软件版本和在售套餐可能按分钟或按日变化,历史背景则可使用稳定文献。每类主张定义最大证据年龄,交付前仅刷新受影响节点。全量重搜浪费成本,完全不刷新又会把旧事实包装成当前答案。
停止条件也受用户用途影响。用于随手了解的问题可以在较低覆盖下给出带限制的摘要;用于采购、医疗或法律决策时,关键主张需要更直接和更新的来源,并明确建议由相应专业人士复核。用途进入任务状态,不能到写作末尾才凭语气猜测风险。 网页元素身份需要跨观察稳定。裸坐标只对某帧有效,DOM path 在插入节点后变化,文本标签可能重复。系统组合 role、accessible name、邻近标签、业务 ID 和页面版本生成引用,动作执行前重新解析。无法唯一定位时返回歧义,不猜最近元素。
iframe、shadow DOM、canvas 和虚拟列表构成不同观察边界。可访问树可能跨 frame 不完整,截图看到的图形又没有 DOM 文本。ACI 明确当前可观察区域与缺口,允许切换 frame、滚动或使用受控 OCR。模型不知道缺口时,会把未观察误判为不存在。
异步页面需要等待状态谓词,而非固定 sleep。按钮变为可用、网络请求完成、后台对象出现都可作为条件,并设置上限。等待超时保留当前页面和请求证据;盲目延长时间只掩盖事件从未发生的问题。
弹窗和新标签页会改变焦点。每个浏览 context 有稳定 ID,动作声明目标;下载、OAuth 和支付可能跨窗口。系统不默认操作最近打开页面,高风险提交前显示实际 origin 与账户身份,防止相似页面劫持。
页面权限与浏览器权限分开。网站可请求剪贴板、摄像头、位置或通知,模型没有用户明确授权时拒绝。已登录会话也只表示身份存在,不代表允许执行账户管理。能力按业务动作而非“能打开页面”授予。
网络响应能提供后台事实,但可能包含更多敏感数据。系统只抽取完成任务所需字段,不把整套 API 响应送入模型。前端与后台显示冲突时,以业务权威源为准,并保存冲突供诊断;不能悄悄挑更方便的一方。
研究检索的召回目标来自主张图。每个主张定义证据需求和反证查询,搜索策略在未覆盖权重与成本间分配。热门来源重复出现不会提高覆盖,新的独立方法、时间或样本才增加证据多样性。
来源独立性可用有向引用图估计。新闻 A、B 都引用同一公告,属于一个证据家族;论文共享同一数据集,方法独立但数据不独立。系统按主张说明独立发生在哪一层,不用简单域名去重。
权威性具有主张依赖。官方文档最适合当前产品参数,却不一定是安全效果的独立评价;监管公告支持处罚事实,媒体调查可能提供未进入公告的背景。来源标签不能把一个网站整体定义为“高质量”。
检索摘要与二手引用要回到原始材料。若原始论文不可访问,可以引用可信二手说明,但降低直接性并标明限制。模型不能凭二手页面中截断的一句话扩展实验结论,也不能伪造页码或 DOI。
数值证据保存单位、分母、时间、样本和不确定性。价格是否含税、增长率相对哪个基期、准确率在哪个数据集,决定数值能否比较。综合器执行单位转换时记录公式,来源事实与派生值分开。
时间敏感事实定义最大证据年龄。天气、价格与软件版本需要临近交付刷新,历史机制可以用稳定文献。刷新只影响依赖节点,主张图传播失效;全量重搜浪费成本,完全不刷新又会把旧状态包装成当前。
查询也可能泄露意图与数据。把内部客户名、未发布项目和秘密错误日志直接发送公共搜索引擎,会造成外泄。查询构造器做数据最小化,敏感任务使用批准的内部源或匿名化关键词,并记录外部接收方。
Research Agent 的停止还要区分可答、不可答和受限可答。关键来源互相冲突且无法裁决时,交付冲突与条件;关键数据不存在时说明证据缺口;受预算限制时标记未完成查询。三者都优于编造一个确定结论。
浏览器任务的停止由后台终局和用户意图共同决定。订单已创建后,即使页面仍旋转,也应停止重复提交并转入查询;表单只保存草稿时,不能宣称已发送。终局类型必须与实际业务对象一致。
完整研究轨迹可以分析一项当前技术政策。Agent 把问题拆为生效时间、适用主体、例外和执行状态,优先检索法规原文与主管机关指南。新闻报道提示近期修订,系统回到修订文本,不用旧摘要回答当前问题。
两个官方页面对日期表述不同,一个是公布日,一个是生效日。主张图把两者分别绑定,不视为冲突。第三方博客混淆日期,因直接性较低不覆盖原文。最终回答明确每个日期含义与访问时间。
若用户随后要求在网站提交合规登记,Research 结果转成结构化字段与待确认例外,Web 阶段重新核对登录主体和表单版本。法律解释不会自动授予提交权限,页面字段变化也不会反向改写法规证据。
对抗案例中,搜索排名首位的 SEO 页面复制旧指南并加入提示注入。来源策略识别转载链,原始日期过期;安全层拒绝其上传本地配置的要求。这个失败同时考验证据归因与能力边界,不是单纯“模型是否识别恶意句子”。
Web 评测扰动布局、标签、窗口大小、加载顺序与网络延迟,保持业务语义。Research 评测扰动查询措辞、来源排序、转载数量和冲突证据。若系统只在固定 DOM 或固定搜索排名成功,泛化仍然有限。
终局 verifier 使用受控站点后台或模拟服务,Research verifier 检查主张—引用蕴含、来源家族和时效。模型 judge 评价开放综合前在人类集校准,并隔离轨迹内指令。链接数量和点击成功率都不是主指标。
成本曲线显示每增加一次页面观察或来源阅读带来的终局提升。早期高增益、后期平台说明停止规则合理;关键缺口尚在却停止,属于过早;覆盖不变仍继续搜索,属于过晚。不同风险任务使用不同阈值。
生产监控不能保存无限页面全文和截图。结构事件长期保留,敏感产物按权限与期限存储,研究引用保存最小必要片段。调试需要更多内容时,通过采样和用户授权获取,不把浏览器变成默认监控器。
最终,Web 与 Research Agent 的共同能力是主动减少决策相关不确定性,并在证据足够时采取受控动作或停止。前者更强调外部提交与身份,后者更强调来源与归因;统一架构保留两种终局,避免流畅文本掩盖业务或证据失败。
多站点任务需要处理身份切换。供应商后台、公司 SSO 和公共资料页可能同时打开,Cookie 与账户角色不同。每个浏览 context 显示 origin、主体和权限,动作不会因标签页切换继承错误身份。提交前再次核对租户,防止在测试账户准备、生产账户执行。
下载文件也是跨边界动作。页面提供的 PDF、表格或压缩包进入隔离区,先检查类型、大小和恶意内容,再交给解析器。文件内文本保持外部来源标签,不能因为落到本地磁盘就变可信;解析产物引用原文件哈希。
上传则需要更严格的数据流检查。文件名无害不代表内容可公开,系统根据产物标签、目标域和用户批准判断。表单自动选择最近下载文件是危险默认,实际路径、摘要与接收方必须出现在预览中。
研究中的 PDF 和图表可能无法从文本层完整读取。系统保留页码、图注和坐标,必要时渲染页面核对;OCR 数字与原表格做抽样检查。只引用搜索引擎抽出的片段,会丢失脚注、单位和上下文。
来源冲突可以触发专家升级。医学、法律和财务等高风险主题中,Agent 提供证据综述与不确定性,不用普通多数表决给个人决策。专业审核是明确交付状态,不能被包装成模型已给最终意见。
个性化会改变搜索和网页结果。评测使用干净配置、固定地区和可记录的登录状态,生产则说明适用地区与账户。搜索历史导致的排名变化进入观察元数据;系统不把个性化首屏当普遍事实。
缓存与归档要尊重 robots、许可和隐私。可重复评测可以使用授权快照,生产研究保存最小证据与链接。来源下线后,归档只在许可范围内使用;无法访问的关键证据会降低可验证性。
联合任务的恢复从两个状态面水合:证据图说明为何选择对象,业务后台说明是否已经操作。只恢复浏览器截图可能重复提交,只恢复研究摘要又不知道页面会话。动作 ID 将选择、审批和外部对象关联起来。
这两类 Agent 的成熟交付都允许用户继续核查。网页结果给出对象 ID、实际状态与撤销入口,研究结果给出来源、片段与限制。用户无需相信一段自信总结,就能沿证据回到真实环境。
无障碍也是接口质量的一部分。依赖 accessibility tree 能提升语义定位,但系统不能假设所有网站标注正确。评测包含缺少 label、键盘焦点异常与高对比模式,检查 Agent 是否安全降级到截图或人工确认,而非猜测控件。
国际化页面会改变日期、数字、小数点和阅读方向。解析层保留原始文本与规范值,提交前按页面 locale 再渲染并核对。研究综合中的单位换算也引用相同规范化规则,防止浏览与证据阶段使用不同数值。
原值始终可核对。