AI Agent 共学总结:从理解能力,到设计可靠的任务闭环
一个 Agent 能搜索、能写代码、能调用工具,也能把任务交给其他 Agent,我们就可以放心把真实工作交给它了吗?
这轮学习让我们的关注点逐渐从“它会多少能力”,转向“它如何证明事情已经做完”。信息是否齐全,记忆是否有效,工具是否真的执行,结果是否经过检查,失败后能否恢复——这些问题,比一份流畅的最终回答更接近可靠性的核心。
本文依据第一、二、三、四、五、十章的六篇学习笔记整理,沿用学习笔记的写法,归纳这轮共学的认识变化与实践启示。章节之外的内容不作补写,也不补写笔记中没有记录的成员发言或讨论。本次核对了文中引用的第五章实验台账、第十章角色切换报告与翻译证据文件,没有重新运行实验;学习归纳与实验事实分开表述。
这六章,连接起了哪些问题?
六章可以连成一条由能力到交付的学习路径:
| 章节与原始学习笔记 | 核心问题 | 这轮学习留下的认识 |
|---|---|---|
| 第一章:AI Agent 入门 | 什么样的系统能够持续完成任务? | 用观察、行动、反馈理解 Agent,用 Harness 组织运行、约束、验证与恢复 |
| 第二章:上下文工程 | 每一次决策应该看见什么? | 信息要充分、清晰、及时,也要控制噪声、缓存成本和信任边界 |
| 第三章:用户记忆和知识库 | 跨会话的信息怎样被正确使用? | 保存、检索、更新和审查构成完整的知识生命周期 |
| 第四章:工具 | 推理怎样变成可信的行动? | 工具要能被正确发现,参数忠实传递,副作用可确认,失败可处理 |
| 第五章:Coding Agent 与通用 Agent | 怎样解决没有预制接口的任务? | 代码可以组合能力、创造工具,交付仍依赖真实执行与独立验证 |
| 第十章:多 Agent 协作 | 什么值得分工,怎样把结果收回来? | 为并行、上下文隔离或职责边界分工,并承担交接、同步和验收成本 |
把它们放在一起看,我们得到的主线是:可靠的 Agent 需要让信息有来源、行动有边界、结果有证据、失败有出口。
第一章:从“会回答”走向“能完成”
第一章建立了后续学习的坐标系:
Agent = LLM + 上下文 + 工具
LLM 负责理解与决策,上下文提供任务、规则、历史和观察,工具负责读取或改变环境。文件、网页、数据库和用户属于外部环境;Agent 通过接口与它们交互。
ReAct 把这些部分接成持续的循环:思考、行动、观察,再根据新结果调整下一步。关键在于真实反馈。如果调用后没有观察,模型就可能把“请求已发出”误当成“目标已实现”。
我们最重要的认识变化
以前容易把失败归因于“模型不够聪明”,现在会先检查它是否看到了必要信息、是否拥有合适接口、是否收到了执行结果,以及是否知道何时停止。
第一章的上下文消融讨论尤其提醒我们:缺少工具或观察时,Agent 仍可能生成可信的文字。输出了一份答案,与完成了一项任务,需要分别判断。 某些 reasoning 信息能否从结果重建,也要通过消融评估,不能凭直觉把所有上下文组件都判为同等重要。
从工程职责看,另一种拆法是 Agent = Model + Harness。Harness 是围绕模型的运行与治理层,包含 Context、Tools、Constrain、Verify、Correct 五项职责:提供信息与能力,同时约束动作、验证结果并纠正错误。
我们会怎样用到实践里
设计前先写完成条件,再选择路径。单次调用足够时使用单次调用;步骤固定时使用工作流;需要根据环境反馈探索时,再引入自主循环。高风险主干可以由确定性流程控制,开放式局部交给 Agent。
安全也要分层:上下文层区分指令与外部数据,执行层控制权限与动作,数据层用受信任的约束守住最终边界。自然语言要求不能替代实际权限。
第一章笔记记录了搜索、研究和图像生成等实践,其中也保留了图像生成路线因环境依赖失败的情况。这样的记录提醒我们区分模型行为、运行环境和任务验收,不能把所有失败解释成模型能力问题。
第二章:上下文工程是在管理信息供给
第二章把“上下文”从一个输入框,展开为一套持续的信息供给机制。
在笔记讨论的无状态模型调用中,连续对话依靠框架维护历史,并为下一次请求组织必要信息。工具调用请求与工具结果需要正确对应;系统规则、用户要求与外部观察也需要保留各自的角色和来源。
我们最重要的认识变化
窗口容量只是上限。信息装得下,也可能因为噪声、位置和结构而难以被有效使用。上下文溢出是容量问题,上下文腐化则是信息仍在窗口里,关键约束却逐渐被淹没。
这让我们更重视四件事:
- 稳定的系统指令与核心工具定义前置,减少无意义的前缀变化;动态时间、进度和环境状态靠后提供。
- 系统提示词写成可执行的流程,包含分支、异常处理和完成条件。
- Skill 先展示目录,命中任务后再加载流程与参考资料,避免所有说明常驻。
- 计划、计数、预算和当前错误显式呈现,尽量由确定性代码维护,并保留来源。
稳定前缀有利于缓存复用,但具体命中与成本取决于接口、模型和请求结构。后面第十章的实验没有观测到 provider 报告的缓存输入,提醒我们把设计机制与实测收益分开。
我们会怎样用到实践里
长工具输出先存原文,再给摘要与索引。压缩保留目标、关键约束、架构决策、失败路径和证据入口,而不是只保留一句“目前进展顺利”。
高噪声探索可以放进独立上下文,减少主轨迹污染;但交接必须包含足够背景,不能把信息不足转移给另一个 Agent。压缩与隔离各有成本,选择要看信息量、依赖和任务预算。
这里也有信任边界:网页、文档和检索结果是数据。若把其中的文字直接写进高信任的状态栏,或者当作 Skill 指令加载,就可能让外部内容获得不应有的权威。
第三章:记忆的目标是在需要时想对
第三章让我们把“记忆能力”拆成四个动作:提取事实、组织并保留来源、准确找回、依据新证据更新。
用户记忆与共享知识库服务的对象不同,却都需要回答:信息来自哪里、适用于谁、现在是否有效、为什么在此刻相关。
我们最重要的认识变化
原始轨迹、长期记忆和业务状态有不同用途。轨迹支持审计与回放,长期记忆提炼跨会话知识,业务状态记录任务阶段,三者不宜都由一份聊天摘要代替。
记忆的能力也有层次:准确回忆单条事实、跨会话找齐证据、主动发现关联。后一层需要全局视野,不能只靠一次最近邻搜索。
RAG 的质量取决于分块、召回、融合与重排序。语义检索适合表达改写,稀疏检索适合标识符与精确关键词;检索层先要度量“该找的是否找到了”,再评价最终回答。
但局部召回不能保证回答总体统计或全局规则。需要全量计算的问题,应使用完整数据;需要跨文档综合的问题,可能需要预先整理摘要、关系或结构化规则。复杂索引同样带来构建与维护成本。
我们会怎样用到实践里
采用双层记忆思路:少量关键事实、关系和状态形成概览,大量原始细节按需检索。概览帮助发现关联,原文帮助核实细节。
知识更新采用可审查的小范围修改,保留来源并支持回滚,索引作为可重建的派生层。新旧事实冲突时,先检查时间、对象和适用范围,证据不足就保留待确认状态。
权限应在检索前过滤,避免越权数据进入上下文。用户和租户隔离、敏感数据处理、保存期限与删除机制,也是记忆系统的一部分。
我们由此留下的一条原则是:压缩可以减少内容,记忆可以发生修订,但回到原始证据的能力要尽量保留。
第四章:工具接口决定行动能否忠实落地
第四章把工具从 API 清单变成 Agent 的操作界面。感知、执行、协作、用户沟通和事件触发的后果不同,工具所属的服务器或协议不能代替对具体动作的判断。
我们最重要的认识变化
能力如何表达,与一次展示多少能力,是两个独立问题。专用工具适合窄权限、强校验的操作;通用执行器适合开放探索与组合;Skill 提供流程知识;MCP 帮助接入外部能力。它们可以配合。
工具描述要说明何时调用、何时不调用、参数样例和失败处理。返回值还需要来源、分页方式与截断标记。静默截断可能使 Agent 把“没有读到”误判成“并不存在”。
参数保真同样重要。如果工具自动规范化输入,就应反馈实际执行值。隐藏修改会让模型依据错误的执行假设继续推理。
我们会怎样用到实践里
把一次执行设计成完整链条:输入与权限检查、风险判断、执行、查询真实结果、记录反馈。
其中最容易被忽略的是:超时只说明没有及时收到响应,不能证明动作没有发生。 对可能重复建单、付款或发送消息的操作,优先使用幂等标识;无法去重时,先查询状态,再决定是否重试。
通用代码执行还需要真正的系统隔离。venv 管理依赖,不能限制文件、网络或进程权限。权限、沙盒和资源限额应由运行时落实。
协作也是工具契约:目标、证据、产物、权限、等待和取消方式都要明确。需要人工判断时,应先形成具体可审阅的成果,让用户能看清将发生什么。
第五章:代码扩大能力,验证决定能否交付
第五章解释了代码为什么可以成为元能力:Agent 能临时创建解析器、计算程序、转换脚本和适配器,把未预先覆盖的需求变成可执行步骤。文件系统承载数据、程序、产物和中间状态。
我们最重要的认识变化
代码任务的可靠循环包含理解需求、定位问题、最小修改、执行检查、依据错误修复、核对差异。生成程序只是其中一步。
程序正确执行,不保证模型正确形式化了问题。测试通过,也要检查测试是否覆盖真实要求,以及 Agent 有没有通过删除功能、放宽标准等方式违背任务本意。
对于 PPT、视频和界面,检查对象需要包含实际渲染结果。审核者看到页面、截图或视频帧,才能提供生成阶段尚未获得的反馈。产物是否适合代码表达,则取决于精确性、可编辑性和视觉细节需求。
我们会怎样用到实践里
故障先分类,再恢复。瞬时网络错误可以退避重试;非法参数、缺失权限和重复动作需要新的处理策略。运行时要监测无进展、限制恢复轮数,并提供可定位的错误。
跨模型接管可以依靠中立轨迹保存工具调用、结果与必要摘要,但目标接口仍需要兼容验证,不能从“有历史”直接推出“无缝接管”。
更关键的是,生成代码不能自己决定最终权限。业务真值与授权裁决应留在受信任的执行层或数据访问层,避免模型自报的事实成为最后依据。
本章的反例也改变了我们对“加代码就更可靠”的直觉:代码辅助可能提高计算能力,也可能在形式化阶段引入新错误。是否值得加入,要用适合当前任务的对照评估。
第十章:协作的收益需要覆盖交接成本
第十章把前面五章的问题扩展到多个角色之间:谁能看见什么,谁能改变什么,谁负责验证,谁决定收尾。
我们最重要的认识变化
引入多个 Agent,需要说明具体收益:独立任务能否并行,高噪声探索是否需要隔离,生成与审核是否需要不同职责或权限。多个模型重复同一段推理,不会自动带来可靠证据。
角色变化也未必需要新 Agent。如果变化主要是操作流程或知识,可以加载 Skill;需要独立状态、私有信息或并发执行时,再考虑独立上下文。
共享历史保留连续性,也继承噪声与前序判断;独立上下文减少局部负担,却增加信息交接责任。独立窗口更不等于文件、数据库和配额自动隔离。
我们会怎样用到实践里
先写协作契约,再写角色提示词。交接材料包含目标、必要事实、约束、输入与产物引用、完成条件、未解决问题和预算。
大产物留在文件中,小状态通过消息传递。Manager 平时用摘要和索引调度,出现争议时回到原始证据;仍需预留索引增长和集成检查的成本。
并行任务还要能停止:候选结果先验真,再决定胜出或继续,取消多余 worker 并确认资源关闭。“找到一个就停”只适用于任一合格结果即可满足目标的任务。
审核者应给出可定位的问题,但其意见仍需检查。代码、链接、图片路径等要求交给程序验证,语义与可读性再交给模型或人判断。不同角色分别完成工作后,仍要检查组合结果,避免没有文件冲突却出现语义冲突。
Agent 社会的评价又多一层:角色行为可信,并不等于能预测真实社会。模拟结果受模型、初始记忆、规则和评价方法影响,需要独立于交付型协作来讨论。
跨章节最值得复用的五种方法
第一章的设计模式,在后续笔记中反复出现。现在回看,它们都有具体落点:
| 方法 | 这轮学习中的落点 | 需要守住的条件 |
|---|---|---|
| 提议者—审核者 | 知识更新、代码修改、视觉产物、翻译审校 | 审核者能访问原始证据或实际结果,验收规则受到保护 |
| 渐进式披露 | Skill 目录、工具发现、知识概览与细节检索 | 目录能让 Agent 发现能力缺口,未找到或未读完要明示 |
| 只增不改 | 原始轨迹、证据与审计记录 | 长期事实允许修订,派生索引允许重建,状态仍需控制体积 |
| 边界集与保留集 | 权限测试、知识修改、工具与规则回归 | 同时检查应该改变的行为,以及不应受影响的行为 |
| 最小 diff 与可回滚 | 代码编辑、知识更新、协作产物整合 | 保留版本、来源和恢复入口,并检查组合后的影响 |
这里最需要避免的误解是把方法当成绝对规则。只增不改适合原始记录,不能阻止过期事实更新;上下文隔离可以减少污染,不能免除交接;独立审核可以增加反馈,不能保证审核意见永远正确。
下一轮实践:先把一个任务闭环做完整
下面是依据笔记提出的后续练习建议,尚未实施或验收。
可以把“根据一份本地销售数据,生成含异常分析的报告”作为贯穿任务:定义数字与产物验收要求,按需提供字段说明,检索相关口径,用代码计算并生成报告,再核对数据、图表和渲染结果。先建立单 Agent 基线,只有出现独立探索、上下文负担或审核需求时,再引入分工。
这项练习需要留下的不只是最终报告,还包括:
- 明确的完成条件与受保护的验收规则。
- 数据、知识和计算结果的来源,以及不确定性说明。
- 工具动作的实际参数、结果与失败恢复记录。
- 关键改动与可回滚版本。
- 质量、资源消耗、耗时和人工检查结果。
可进一步设计的检查包括:工具响应超时后是否先确认状态;数据更新后是否使用新版本;高噪声输出是否仍能回到原文;故意放入错误产物时审核是否发现;多个角色交付后是否出现跨文件关系失效。
我们仍需继续验证几个问题:压缩如何兼顾信息保留与成本;主动记忆如何避免误联想和越权;代码辅助适合哪些任务;何时 Skill 足够,何时独立 Agent 更划算;模型评分怎样与确定性检查、人的判断配合。这六章提供了分析方法,还没有替所有场景给出答案。
写在最后:我们的学习标准也发生了变化
这轮共学最大的收获,是学会沿着任务链条追问。模型依据什么决策,信息是否仍然有效,行动是否忠实执行,产物是否满足要求,失败后是否可恢复,协作收益是否值得成本。
第一章建立闭环,第二章组织信息,第三章管理跨会话知识,第四章约束行动接口,第五章扩展可执行能力,第十章处理分工与交接。它们共同把“Agent 很强”变成了一组可以检查的工程问题。
今后评价一个 Agent,我们会更看重它是否保留证据、是否承认未完成、是否能被审查与纠正。这样的系统,才有机会随着实践逐步获得更多真实任务的委托。