AWS 新版 AgentCore 运行时可在会话中回收内存

Amazon Bedrock AgentCore 新版运行时在会话进行中回收变冷的内存,并让冷启动时间不再受容器大小和并发量影响。

Paylaş
AWS 新版 AgentCore 运行时可在会话中回收内存

AWS 宣布推出新版 AgentCore 运行时(runtime)。它是 Amazon Bedrock AgentCore 中的托管计算层,用于部署和运行智能体(Agent)。这次改动集中在两点:内存计费方式和会话启动速度。

在原有版本中,会话一旦分配内存,就会一直占用到会话结束,因此用量按峰值计算。对于偶尔突发、大部分时间闲置的智能体来说,这意味着在早已停止使用内存之后,仍然要按最高点付费。

新版运行时改为以一个较小的内存配置启动每个会话,再根据工作负载按需分配和调入额外内存。AWS 表示,公司分析了数十亿次会话的内存分配模式,并据此调整运行时:当内存变冷、后续不太可能再被访问时即予回收,账单也会随会话生命周期内的这些变化而变动。

冷启动问题

每个新会话都必须先启动才能开始工作。如果会话落在已经初始化好的环境上,启动可以在 100 毫秒以内完成;但要保证这一点,就得让环境保持热态,也就是预留闲置算力。因此大多数会话都是冷启动:启动新环境、拉取镜像、初始化智能体。镜像越大、并发越高,这段延迟就越长,在流量突发时最为严重,而那恰恰是可用的就绪环境最少的时刻。

AWS 称,启动时更小的内存配置直接缓解了这一问题,使冷启动时间在不同容器大小和并发量下保持一致。

该公司还提到,此前客户往往自行搭建这套机制:预先备好空闲环境以避开冷启动,调优内存分配,之后再拆掉以控制账单。AWS 认为这类工作与智能体本身无关。

完整公告发布在 AWS 博客。

Devamını oku

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

أطلقت Liquid AI نموذج LFM2.5-24B-A2B كنموذج مفتوح، ويضم 24 مليار معامل إجمالا لكنه يشغل نحو 2.5 مليار منها في كل خطوة. وبحسب النتائج التي نشرتها الشركة، يولد النموذج المدرب للوكلاء الذين يستخدمون الأدوات 184 رمزا في الثانية على Apple M5 Max.

GlobalFeed Editor tarafından