AWS 演示基于 Bedrock AgentCore 的多模态 WhatsApp 点单助手

一个 WhatsApp Business 号码同时处理文字、语音留言和通话,由 Amazon Nova 2 Lite 与 Nova 2 Sonic 驱动,共享同一后端与跨渠道记忆。

Paylaş
AWS 演示基于 Bedrock AgentCore 的多模态 WhatsApp 点单助手

AWS 发布了一份部署指南,介绍如何用 Amazon Bedrock AgentCore 和 Amazon Nova 2 搭建多模态的 WhatsApp 点单助手。面向的场景是快餐门店:点单渠道分散在 App、网站、电话和柜台,每个渠道都是一套独立系统,客户历史记录也被割裂。AWS 提到,WhatsApp 触达超过 20 亿人。

方案用一个 WhatsApp Business 号码承载助手。顾客可以在同一个会话里发文字、发语音留言,或者直接发起语音通话,智能体(Agent)从打招呼到确认订单全程接管。三条渠道共享同一后端和同一份跨渠道记忆,今天发消息、明天打电话的顾客会被识别为同一个人。

技术组成

面向顾客的入口是 Meta WhatsApp Business Platform,提供 Cloud API 的 webhook 以及 Messages、Media 和 Calling API。这部分由 Meta 运营,属于前置条件,并非该方案部署的内容。智能体运行在 Amazon Bedrock AgentCore 上:Amazon Nova 2 Lite 通过 Bedrock Converse API 处理文本,Amazon Nova 2 Sonic 负责语音留言和通话中的实时语音。智能体通过模型上下文协议(MCP)访问餐厅后端,整套系统用 AWS CDK 部署。

入站流量统一进入一个 HTTPS webhook,先立即返回 200 确认,再异步处理。架构把三层分开:负责对话的 WhatsApp 层、按渠道各一个的智能体运行时,以及保存菜单、购物车、订单和门店信息的后端。渠道逻辑与点单逻辑相互独立,因此增减渠道时后端无需改动。

语音留言的处理路径是:将 OGG Opus 数据解码为 16 kHz PCM,送入一个有界的 Nova 2 Sonic 语音到语音会话,路径中没有转写服务,回复直接以 WhatsApp 语音消息返回。语音通话中,Meta 的 Calling API 递送 WebRTC 的 SDP offer,运行时因没有公网 IP 而以 turnOnly 模式工作,TURN 凭据来自 Amazon KVS,媒体经 DTLS/SRTP 通过 KVS 托管的 TURN 中继传输。

智能体容器在 AWS CodeBuild 中按 ARM64 构建,因此本地不需要 Python、Docker 或音频工具链。前置条件涉及 AWS 账号和 Meta WhatsApp 两方面配置。完整部署步骤见 AWS 的博客文章。

Devamını oku

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

أطلقت Liquid AI نموذج LFM2.5-24B-A2B كنموذج مفتوح، ويضم 24 مليار معامل إجمالا لكنه يشغل نحو 2.5 مليار منها في كل خطوة. وبحسب النتائج التي نشرتها الشركة، يولد النموذج المدرب للوكلاء الذين يستخدمون الأدوات 184 رمزا في الثانية على Apple M5 Max.

GlobalFeed Editor tarafından