AWS 新版 AgentCore 运行时可在会话中回收内存
Amazon Bedrock AgentCore 新版运行时在会话进行中回收变冷的内存,并让冷启动时间不再受容器大小和并发量影响。
AWS 宣布推出新版 AgentCore 运行时(runtime)。它是 Amazon Bedrock AgentCore 中的托管计算层,用于部署和运行智能体(Agent)。这次改动集中在两点:内存计费方式和会话启动速度。
在原有版本中,会话一旦分配内存,就会一直占用到会话结束,因此用量按峰值计算。对于偶尔突发、大部分时间闲置的智能体来说,这意味着在早已停止使用内存之后,仍然要按最高点付费。
新版运行时改为以一个较小的内存配置启动每个会话,再根据工作负载按需分配和调入额外内存。AWS 表示,公司分析了数十亿次会话的内存分配模式,并据此调整运行时:当内存变冷、后续不太可能再被访问时即予回收,账单也会随会话生命周期内的这些变化而变动。
冷启动问题
每个新会话都必须先启动才能开始工作。如果会话落在已经初始化好的环境上,启动可以在 100 毫秒以内完成;但要保证这一点,就得让环境保持热态,也就是预留闲置算力。因此大多数会话都是冷启动:启动新环境、拉取镜像、初始化智能体。镜像越大、并发越高,这段延迟就越长,在流量突发时最为严重,而那恰恰是可用的就绪环境最少的时刻。
AWS 称,启动时更小的内存配置直接缓解了这一问题,使冷启动时间在不同容器大小和并发量下保持一致。
该公司还提到,此前客户往往自行搭建这套机制:预先备好空闲环境以避开冷启动,调优内存分配,之后再拆掉以控制账单。AWS 认为这类工作与智能体本身无关。
完整公告发布在 AWS 博客。