AWS 提出生产环境智能体的双层监控架构
AWS 发布一套架构,将智能体质量评估与基础设施健康监控分开,并用四智能体的航班预订系统做演示。
AWS 发布技术文章称,生产环境中的多智能体系统(Multi-agent)出问题的方式往往是传统监控看不到的。文中举例:智能体因执行角色缺少 IAM 权限而无法调用基础模型(FM),只返回空响应,却不会抛出 500 错误;另一种情况是,提示词范围界定不当的主管智能体把 20% 的请求路由到了非预期的专家智能体,错误率没有上升,基础设施指标依然全绿。
两个问题,两个层面
该监控架构回答两个问题:智能体工作得好不好?基础设施是否健康?Amazon Bedrock AgentCore Evaluations 负责前者,对线上交互按有用性、正确性和目标完成度打分。系统按可配置比例对生产请求采样,在后台完成评估,每个分数都附带理由,依据是对话上下文、所用工具和任务要求。当质量指标下滑时,它会对近期低分会话做模式分析,找出共同的失败模式,并给出具体建议:修改提示词、调整工具选择,或者改进编排逻辑。
另一层是 AWS DevOps Agent,负责监控指标、日志和错误模式。出现故障时,它自行拉取相关的 Amazon CloudWatch 日志,构建受影响资源的拓扑图,在 IAM、Amazon Bedrock 和智能体运行时之间关联错误,追踪失败路径并给出修复建议。除了发送带 CloudWatch 链接的告警,它还会把空响应关联到缺失的 IAM 权限,或把超时激增关联到特定区域的 Bedrock 限流。
航班预订演示
为完整演示这套架构,AWS 用 Swarm 模式搭建了一个由四个专用智能体组成的航班预订系统。示例请求需要在一轮对话内搜索两条不同航线,同时从另一数据源获取会员等级和同伴证书,并按正确顺序完成预订,因为在航班选定、票价舱位确定之前无法使用同伴证书。给不符合条件的航班套用证书会让用户不满,订到违反企业差旅政策的航班则会造成浪费。
完整内容见 AWS 机器学习博客。