Agent DLC
生产放行与黄金标准
Agent DLC：评估决定放行，生产反哺标准
AWS《企业生产级智能体开发部署指南》（2026 年 6 月发布，56 页）提出 Agent DLC（Agent Development Lifecycle）：定义→构建→评估→发布→观测→回流六环节闭环。 「发布」是门——门前团队在「定义-构建-评估」间高频往复（一次上线前可迭代上百轮），门后观测与回流持续运行，生产中的新失败模式被自动采集回灌黄金标准。 核心机制是放行由评估决定：判据达标即放行、未达标返工，不由人在会上拍板。
黄金标准由两部分构成：评估规范（判据表，把业务对 Agent 的每项要求转化为可自动测量的判据）与黄金轨迹集（确定可复现的回归数据集，由生产 trace 持续回灌）。 判据沿认知、质量、责任、成本、性能五维度设置，每条分三档：红线（100% 通过，一票否决）、门禁（达到设定阈值）、观测（有基线可比即可），三档必须在第一次评估运行 前冻结，避免「先看分数再定标准」的自我安慰。五维度是评估的坐标系而非构建的组件清单——维度与工程能力（检索管线、提示词、工具定义）是多对多关系，理解错会把 评估做成清单打勾。
与传统 CI/CD 的本质区别：代码测试是确定性断言，Agent 的输出是自然语言加多步行为，「什么算对」本身需要被定义和校准，合格标准是通过率而非二元判定。白皮书给出 的修复优先级：先确认分数本身可信，再查数据质量，再调提示词，最后才换模型——多数提升来自提示词、工具描述与检索策略。评估器本身是成本大头：每条 trace 过一遍 裁判即一次独立 LLM 调用，用 simulation 还要加 actor 调用费；失败成本低于评估成本的场景（内部低风险工具、有人工兜底的单次生成）不值得上全量门禁。行业背景上 Gartner 2025-06 预测超 40% 的 Agentic AI 项目将在 2027 年底前取消，风控不足是主因之一。
LLM 裁判的偏差与校准
什么是位置偏差
位置偏差（Position Bias）是 LLM-as-a-judge 裁判四大评分偏差（位置、冗长、自我偏好、分辨率过粗）之首：在做两两或多候选比较时，裁判对处于特定位置的候选产生 系统性偏爱——有的模型偏爱先看的那个，有的偏爱后看的——与内容质量无关，同一对答案唯一变化的是输入顺序，判决却会变。这直接污染一切「哪个更好」式的排名评估。 检测方法即交换位置重复评测、统计判决翻转率；MT-Bench（Zheng et al. 2023）据此确立了「两种顺序都跑、只取一致结论」的经典缓解，其局限见下一条。
见：Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
位置偏差：双序一致的防御是不充分的
四大偏差的出处 MT-Bench 建议用「两种顺序都跑、只取一致结论」缓解位置偏差，但《Large Language Models are not Fair Evaluators》（Wang et al. 2024）证明部分 裁判仅交换两个候选的位置就会整体翻转判决——偏差不是偶发噪声，而是绑定在具体的（裁判，位置对）组合上；ACL 2025 的系统性研究进一步测得位置偏差贯穿 list-wise 多候选评测，重复稳定性不可忽略。工程含义：双序一致只能筛掉明显坏的裁判，通过筛选的不等于可信；生产级做法是多次随机 shuffle 后报告判决方差而非一致与否的 布尔值，且从两两比较升级到多候选排名时，偏差需要重新验证。
见：Large Language Models are not Fair Evaluators
裁判的自我偏好本质是低困惑度偏好
Wataoka 等人（2024）提出自我偏好偏差的量化指标，发现其本质：裁判系统性地给自身困惑度更低（即对它来说更顺、更可预测）的文本打高分，与内容质量无关。这个机制 同时解释了两件事：为什么「换厂商裁判交叉验证」不彻底——偏好跟着文体分布走，两家模型训练风格接近时照样互爱；以及冗长偏差与自我偏好为何同源——套路化的长文本 恰是低困惑度文本。裁判的选型标准因此从「不同厂商」精确化为「与被评方在 tokenizer 和风格分布上足够远」；多智能体工作流里用同族模型互评或自评，同样落进这个 偏差半径。
见：Self-Preference Bias in LLM-as-a-Judge
根因归因与轨迹评估
四格指标要当分数签名读，单看任何一格都会误诊
Agent 出错根因排查链（context recall → faithfulness → correctness → response relevance）来自 RAGAS 系指标，而这族指标度量的是答案与上下文的一致性、不是 真值，所以单格分数会骗人，组合签名才是诊断：faithfulness 极高 + context recall 极低 ＝「忠实且正确地总结了错误的材料」，失败在检索侧，只看生成侧仪表盘会一路 绿灯；correctness 满分 + faithfulness 低 ＝ 蒙对（答案碰对但断言无据），换一批题即崩。裁判知识截止导致 Correctness 评估器整批零分的教训（把「裁判无知」与 「Agent 答错」混进同一分数）也是同理——Faithfulness 不要求裁判懂领域、只对照材料查断言，才免于此坑。四格必须搭配使用，缺一格排查链条就断。
轨迹评估器引入「期望路径脆弱」的新失效方式
AgentCore 的轨迹级评估器（GoalSuccessRate、ToolSelectionAccuracy、ToolParameterAccuracy）拿 Agent 实际工具调用序列与用户提供的期望轨迹比对，绕开了「裁判 知识截止」陷阱——裁判不需要懂领域。但它带来一个易被忽略的失效方式：期望路径脆弱。真实任务常存在多个有效的调用顺序，若把期望轨迹声明为唯一全序，合理的替代 路径会被系统性误判为失败，通过率被压低，团队继而开始「为 Agent 现有行为改轨迹定义」——恰是「先看分数再定标准」的镜像版本，标准退化成现状描述。工程上期望 轨迹应声明为「必须出现的调用集合 + 禁止次序」的约束，而非精确序列。