https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/
AI 写代码的速度已经很快,但"怎么确认它写对了"成了新的难题。代码生成越来越便宜,验证正确性的成本却没有同步降下来——这是当下 AI 编程最真实的瓶颈。
Addy Osmani 在 2026 年 11 月 16 日介绍了 Claude Code 团队的做法。这套方法的核心,是把验证从"人逐行读代码"变成"机器拿证据证明结果"。这篇教程把它拆成可操作的步骤:先讲清思路,再讲三种测试,然后落到七项工程实践,最后给你一套能直接建起来的配置文件。
先想明白:从检查代码到验证结果
先看一组数据。Claude Code 团队约 90% 的代码由 Claude 编写和审查。没有验证机制时,一个人大约只能同时管理一两个 Claude;有了验证机制之后,可以并行管理几十甚至上百个。
差别为什么这么大?
设想让 AI 开发一个应用。它回复"已完成,所有功能正常",你要怎么确认?
- 读代码?几千行,读不过来。
- 看 Git Diff?只能知道改了什么,判断不了功能是否正常。
- 让它自己检查?它可能只检查自己写的代码,发现不了自己对需求的误解。
- 自己装上运行、逐个点?效率太低。
问题的根子在于:生成代码的成本降了,验证代码正确性的成本没降。团队的解决办法是建立一套验证循环(Verification Loop):让 AI 反复执行、拿到证据、自我修正,而不是靠人宣布通过。
+------------------+
| 1. Agent 编写代码 |
+--------+---------+
v
+--------+---------+
| 2. 自动验证 |
| 测试 / 运行 / 检查 |
+--------+---------+
v
+--------+---------+
| 3. 发现问题 |
| 日志 / 截图 / 报告 |
+--------+---------+
v
+--------+---------+
| 4. Agent 修复 |
+--------+---------+
|
+---- 回到第 2 步,直到满足完成条件
这里最关键的一条:验证结果必须有证据,而不是 Agent 自己宣布成功。文章还提到,在结构化文件生成任务上,独立 Grader 按评分标准检查结果,相比普通 Prompting 循环,任务成功率最多提高 10 个百分点。
三种最值得投入的测试
团队重点介绍了三种测试手段。它们各自解决不同问题,值得按顺序了解。
E2E 测试:模拟真实用户操作
E2E(End-to-End,端到端)测试模拟真实用户的完整操作。
以一个坦克游戏为例。传统单元测试会检查:坦克对象创建成功、子弹发射函数返回正常、伤害计算结果正确。这些测试全部通过,也不代表游戏能玩。
真正的 E2E 测试走完整流程:
- 启动游戏。
- 进入主菜单。
- 点击开始游戏。
- 选择坦克。
- 进入战场。
- 移动坦克。
- 瞄准并发射炮弹。
- 确认炮弹命中敌人。
- 确认敌人血量下降。
这才是真正验证用户体验的做法。前提是给 Agent 配上操作真实系统的能力,也就是让它有"手和眼睛":
| 场景 | 验证工具 |
|---|---|
| Web 应用 | Claude Chrome Extension |
| iOS | iOS Simulator / MCP |
| Android | Android MCP |
| 桌面应用 | Computer Use |
| 后端 | 本地启动服务 + API Harness |
还有一个容易忽略的细节:E2E 测试要提供详细的失败证据。对比一下两种失败输出——
| 方式 | 失败输出 | 效果 |
|---|---|---|
| 普通测试 | checkout.test.ts:Timeout after 30s | 不知道具体哪里坏了 |
| E2E 测试 | 截图 + 操作轨迹:支付表单未加载,按钮不可用 | Agent 可以直接定位问题 |
E2E 测试的价值不止在判断对错,还在告诉 AI 为什么错。
属性测试:用规则覆盖海量输入
传统测试是"给一个输入,看输出是不是预期结果"。属性测试换了个思路:先定义一条永远应该成立的规则,再自动生成大量输入,找出违反规则的情况。
看一段对照代码。传统测试写一个固定用例:
def test_review():
result = review("apple", remembered=True)
assert result.next_interval > 0
属性测试则交给工具生成输入序列。下面用 Python 的 Hypothesis 生成各种真假组合:
@given(st.lists(st.booleans()))
def test_review_intervals(results):
state = initial_state()
for remembered in results:
state = review(state, remembered)
assert state.interval >= 0
assert state.repetitions >= 0
文章举了四种实用的属性:
| 属性 | 含义 | 应用场景 |
|---|---|---|
| Round-trip | 编码后再解码,结果不变 | JSON、序列化 |
| Invariants | 某些条件永远成立 | 账户余额不能为负 |
| Idempotency | 重复执行,效果不变 | 数据迁移、重试 |
| Equivalence | 优化版本与正确版本结果一致 | 算法优化 |
其中 Idempotency(幂等性) 尤其值得强调。以一个理赔后端为例:同一张发票重复上传,不应该重复计算;同一个任务重复执行,不应该重复支付;同一个异步任务重试,不应该生成多条重复记录。这类问题很容易被 AI 编程忽略,而属性测试能自动生成各种重复操作序列来检验。
差分测试:拿新旧系统对答案
差分测试特别适合重构和替换系统。原理很简单:让新旧两个系统处理完全相同的输入,然后比较输出。
相同输入数据
|
+-------+-------+
v v
+--------+ +--------+
| 旧系统 | | 新系统 |
| Legacy | | New |
| 100 | | 100 |
+---+----+ +---+----+
| |
+-------+-------+
v
结果一致
举个例子:一个理赔系统原来用 FastAPI,现在要迁移到 Django。可以这样做:
- 准备 1000 份历史理赔数据。
- 分别输入新旧系统。
- 比较审核结果、金额、分类等。
- 找出结果不一致的地方。
- 人工确认哪些属于 Bug,哪些属于经过批准的业务规则变化。
文章还建议用随机生成的数据或真实生产流量样本,并对空格、格式这类无关差异做标准化处理。这比单纯照着需求文档重写系统可靠得多。
把验证做成工程体系:七项实践
前面三种测试是技术手段。团队真正厉害的地方,是把验证变成一套工程体系。下面是七项可以直接借鉴的实践。
1. 必须真正运行程序
团队最重要的一句话:Running the app end to end matters more than tests(端到端跑起应用,比只跑测试更重要)。
以移动应用开发为例。不能只看 Kotlin 编译成功、Gradle Build 成功、单元测试通过,还必须启动模拟器、安装 APK、启动应用、实际操作界面、检查功能、查看有没有崩溃。
做法是创建一个专门的 verify Skill,放在项目的 .claude/skills/ 目录:
.claude/
skills/
verify/
SKILL.md
这个 Skill 告诉 Claude:怎么启动应用、怎么启动模拟器、怎么执行测试操作、怎么看运行日志、怎么获取截图、怎么判断验证通过。它应该尽可能快、稳定,不能经常失败。
这其实是把 QA 工程师的操作流程,变成 Agent 能重复执行的技能。
2. 失败超过三轮,交给人
团队有一条硬规则:如果测试连续三轮仍然失败,Agent 停止自动修复,交给人类处理。
原因在于 Agent 有个危险倾向:不断尝试修复,甚至可能改测试、绕过错误,最后让自己"看起来成功"。三轮限制能避免无意义地反复修改、越修问题越多、大量消耗 Token、不断扩大修改范围。
注意三轮不是所有项目的最佳固定值,可以按错误类型和修复成本调整。
3. 代码负责人定义检查规则
谁负责代码,谁就应该定义验证规则。
| 模块负责人 | 应该关注的检查 |
|---|---|
| 数据库模块 | 数据一致性、事务、迁移 |
| 登录模块 | 权限、Token、会话安全 |
| 支付模块 | 金额、幂等性、重复支付 |
| 客户端界面 | 页面交互、生命周期 |
| AI 模块 | 输出格式、幻觉、异常响应 |
这里的思想是:测试不该是开发者随手写的几个断言,而要反映这个模块真正容易出问题的地方。检查失败时,还要告诉人类为什么需要介入,而不是只给一个红色的 FAILED。
4. 根据代码变更触发检查
团队维护了一份包含 39 项内容的可靠性检查清单。但他们不会每次改代码都跑全部 39 项,而是:
- 分析 Git Diff。
- 判断这次修改涉及哪些功能。
- 找出对应的历史风险。
- 只运行相关检查。
比如修改了 session storage 或消息类型,就检查:新字段是否正确保存?旧版本的会话记录能不能正常加载?老数据缺字段时会不会崩溃?
通常只触发 3~10 项检查。这比每次让 Agent 读一份很长的开发规范高效得多,本质是一套基于代码变更的风险路由机制。
5. 一个审查者,多轮审查
团队不主张简单增加 Reviewer 数量。Agent A 写代码、B 审查、C 再审查、D 最后审查,看着严谨,实际可能只是重复检查同样的问题。
他们更倾向于一个主要 Reviewer,结合前面几轮的结果不断深化审查,同时用 REVIEW.md 指定审查重点:
# REVIEW.md
## Database
- Check transaction boundaries.
- Check duplicate task execution.
- Check migration backward compatibility.
## Security
- Never log API keys.
- Check authorization on every endpoint.
## Async Tasks
- Check retry behavior.
- Check idempotency.
- Check task timeout handling.
每轮审查都能利用之前的上下文和失败记录,而不是每次从头开始。
6. 代码不能修改自己的裁判
这是整套体系里最值得注意的安全设计。
设想让 Agent 开发功能,同时要求它通过测试。测试不通过,Agent 干脆改测试:
# 原来
assert result.amount == 100
# 修改后
assert result.amount >= 0
测试通过了,业务逻辑可能已经错了。这就是典型的被测试对象同时控制了测试标准。
团队的做法是:
- 审查规则从基础分支读取,而不是从当前 PR 读取。
- 控制变更的检查规则,不能被当前变更修改。
- Review 必须针对固定的 Commit。
- Agent 应该先完成本地测试,再发起 PR。
落实到权限上,可以这样划分:
| 内容 | Agent 是否可以修改 |
|---|---|
| 业务代码 | 可以 |
| 普通单元测试 | 可以,但需审查 |
| 核心验收标准 | 不应自行修改 |
| CI 强制检查规则 | 不应自行修改 |
| 安全策略 | 不应自行修改 |
7. 测试测试系统本身
这个概念很容易被忽略。测试通过不代表系统可靠,因为测试本身也可能有问题:没覆盖关键 Bug、过于严格导致大量误报、规则过时、Reviewer 总发现无关紧要的问题。
团队会跟踪几个指标:合并后被 Revert 的代码数量、Maintainer 合并前拒绝的变更数量、合并后一直保持稳定的变更数量。还会拿历史真实事故评估 Code Review——找一个过去确实出过 Bug 的 PR,恢复当时的代码环境,让 Reviewer 重新审查,看它能不能发现当时的 Bug,并用没有问题的 PR 作对照,避免过度报警。
这叫 Evaluation of Evaluators,也就是评估验证系统本身。
还有一个好做法:把过去漏掉的 Bug 转化成新的检查规则。某种错误在两个不同 PR 中重复出现,就可以考虑提炼成 REVIEW.md 的一项规则。但要经过多个 Agent 尝试反驳、再由人类批准,避免规则无限膨胀。
Observe Mode:提交门禁分三阶段上线
团队还有一个提交门禁(Commit Gate):要求提交代码之前,必须有 /code-review 或 /verify 的验证记录。这个门禁的上线方式分三个阶段,而不是一步到位。
但它不是一开始就强制执行,而是分三个阶段:
| 模式 | 行为 |
|---|---|
| Off | 完全关闭 |
| Observe | 记录哪些提交本来会被拦截,但不阻止 |
| Enforce | 不满足条件就禁止提交 |
为什么要先 Observe?因为刚建立验证规则时可能误报,直接强制容易把开发流程卡死。先观察一段时间、收集实际数据,确认规则合理,再开强制模式。
还有个细节:如果 Agent 在一次会话中连续两次被阻止提交,下一次允许提交,避免因为机制不完善而陷入死循环。
不同项目怎么落地
不必一上来照搬全部体系。不同项目可以共享同一套验证思想,但具体手段不同。这里按三类常见项目给出组合建议。
移动应用
推荐组合:
- Gradle:编译检查。
- JUnit:单元测试。
- Compose UI Test 或 Espresso:界面测试。
- Android Emulator:真实运行。
- ADB:安装、启动、操作、获取日志和截图。
验证项可以从这张清单起步:
| 验证项 | 验证内容 |
|---|---|
| 启动 | 应用能否正常启动 |
| 核心功能 | 主流程能否走通 |
| 交互反馈 | 关键操作是否正确处理 |
| 算法逻辑 | 计算结果是否正确 |
| 数据持久化 | 退出后进度是否保留 |
| 异常处理 | 数据库异常是否导致崩溃 |
如果有一套自动启动、自动操作、自动截图、自动检查控制台错误的机制,加载卡住、变量初始化错误这类问题,就不必等到手动打开才发现。
游戏项目
在通用验证之外,增加游戏特有的检查:
- 游戏能否进入主菜单。
- 能否开始新游戏。
- 玩家能否移动。
- 攻击、碰撞、伤害是否正常。
- 游戏结束后能否重新开始。
- 游戏运行一段时间是否出现异常。
属性测试尤其适合游戏逻辑,比如检查归一化后的坐标始终落在地图范围内:
@given(
x=st.floats(min_value=-10000, max_value=10000),
y=st.floats(min_value=-10000, max_value=10000)
)
def test_tank_position_is_valid(x, y):
pos = normalize_position(x, y)
assert 0 <= pos.x <= MAP_WIDTH
assert 0 <= pos.y <= MAP_HEIGHT
实际项目要按自己的地图和坐标设计来定义约束。
后端服务
后端服务通常三种测试都值得投入:
- E2E:完整业务流程。
- Property:金额、数据一致性、幂等性。
- Differential:新旧模型、规则版本之间的结果比较。
一份值得逐项检查的清单:
- 同一份单据重复上传。
- 同一任务重复执行。
- OCR 金额提取错误。
- 模型输出缺少字段。
- 模型 API 超时。
- 任务执行中断后恢复。
- 金额计算边界。
有个要点:模型审核结果不能只靠另一个模型说"正确"就算通过。金额计算、规则匹配、单据编号这类关键字段,应该有独立的确定性校验。
先建三个文件就够了
起步时不必引入复杂的测试平台。先建三个核心文件,各自负责不同的事情:
project/
├── CLAUDE.md
├── REVIEW.md
└── .claude/
└── skills/
└── verify/
└── SKILL.md
三者分工不同。
CLAUDE.md:开发规范
写清验收要求,下面是一个可用的起点:
## Verification Requirements
- Never claim a feature works without running it.
- Run relevant tests after code changes.
- For UI changes, launch the application and verify
the actual user interaction.
- Fix failures before reporting completion.
- Do not modify acceptance criteria to make tests pass.
- Stop after 3 unsuccessful fix attempts and report
the problem to the user.
Before finishing, provide:
1. Changes made
2. Tests executed
3. Test results
4. Runtime verification evidence
5. Known issues
REVIEW.md:审查规范
记录项目真正容易出问题的地方:
# Code Review Rules
## Data Integrity
- Check transaction boundaries.
- Check duplicate operations.
- Check backward compatibility.
## Security
- Never expose API keys.
- Check authorization.
- Avoid sensitive information in logs.
## Reliability
- Check retry behavior.
- Check timeout handling.
- Check error recovery.
## Testing
- Verify that tests cover the actual requirement.
- Never weaken assertions to hide failures.
verify/SKILL.md:验证操作手册
这里不只是写测试命令,还要告诉 Agent 怎么真正把程序跑起来:
# Verify Skill
## Steps
1. Inspect the current git diff.
2. Identify affected features.
3. Run relevant unit tests.
4. Build the application.
5. Start the application.
6. Execute critical user workflows.
7. Capture screenshots and logs.
8. Check for runtime errors.
9. Report verification results.
## Failure Handling
- Fix failures and rerun verification.
- Maximum 3 unsuccessful fix rounds.
- Never skip failing tests.
- Never modify acceptance criteria.
- Escalate unresolved issues to the user.
这三个文件是很好的起点。之后可以逐步加入自动化脚本、截图、测试数据和 CI 门禁。
支撑这套体系的三个原则
把前面内容串起来,有三条原则贯穿始终。
第一,AI 编程的竞争力,正在从代码生成能力转向验证能力。 过去比较工具看谁写得快、谁理解需求准、谁能处理复杂任务。以后还要加上:谁能发现自己犯的错、谁能构造有效的测试、谁能根据失败证据修复问题、谁能保证修复没引入新问题。这几条决定 Agent 能不能真正独立工作。
第二,测试规范应该沉淀成 Agent 的长期经验。 每次出现 Bug,都该考虑能否把它变成未来的自动检查规则。比如某次开发漏掉了页面重建时的状态处理,修好之后不该就此结束,而应把它变成一项自动测试。这样下次就不容易重犯——把软件工程里的经验,转化成机器可执行的知识。
第三,验证系统本身也必须受约束。 如果 Agent 能随意改代码、改测试、改验收标准,它完全可能造出一个"所有测试都通过、实际功能错误"的系统。所以必须分清三类边界:Agent 可以修改的内容、Agent 必须遵守的规则、人类负责确认的验收标准。这是多 Agent 协作能可靠运行的基础。
组装一个通用的 Verify Agent 工作流
最后一步,是把机制真正用起来。不必先研究更多测试框架,先把流程跑通:
- 开发 Agent:根据需求实现功能。
- Verify Agent:独立执行测试、启动程序、模拟用户操作、收集证据。
- 修复 Agent:根据失败报告修复问题,再次交给 Verify Agent。
- Review Agent:检查代码质量、安全性、兼容性和测试是否充分。
- Human Approval:对重要变更做最终验收。
有个细节:Verify Agent 最好不能随意修改被测代码或验收标准,它主要负责执行和报告,修复交给开发 Agent。
从验证循环、E2E 测试,到不可自我修改的验收规则——这三块是整套体系里收益最高的部分。对大量让 AI 独立承担开发任务的工作方式来说,建一套通用验证体系,回报往往比换一个更强的编程模型还大。