Stanford publishes a benchmark measuring AI agents on scientific workflows

The first release of Terminal-Bench-Science contains 70 tasks drawn from work researchers actually performed. In the first results, the best agent completes 30 percent of them.

Stanford publishes a benchmark measuring AI agents on scientific workflows

A Stanford-led effort has published Terminal-Bench-Science, a benchmark that measures AI agents on scientific research workflows rather than software development.

The first release contains 70 tasks, each drawn from work practising researchers actually performed. In the first results, the best agent solves 30 percent of them.

For the task list, the method and the full results table: the Terminal-Bench announcement and the GitHub repository.

Devamını oku

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

أطلقت Liquid AI نموذج LFM2.5-24B-A2B كنموذج مفتوح، ويضم 24 مليار معامل إجمالا لكنه يشغل نحو 2.5 مليار منها في كل خطوة. وبحسب النتائج التي نشرتها الشركة، يولد النموذج المدرب للوكلاء الذين يستخدمون الأدوات 184 رمزا في الثانية على Apple M5 Max.

GlobalFeed Editor tarafından