谷歌开源端侧 AI 推理引擎 ML Drift

谷歌于 2026 年 10 月 8 日以 Apache 2.0 许可证开源了 ML Drift。ML Drift 是一款推理引擎，可在设备自身的显卡（GPU）上运行 AI 模型，让模型无需把数据发送到网上，就能在手机、浏览器或电脑上快速运行。据谷歌公告介绍，ML Drift 是旧版 TensorFlow Lite GPU 代理（GPU delegate）的直接继任者，旧版今后不再增加新功能。该引擎是谷歌端侧 AI 框架 LiteRT 的 GPU 加速核心，也可以作为独立库使用。

据公告介绍，ML Drift 目前已用于 YouTube Shorts、Google 相册、Meet 以及 Chrome 中基于 Gemini Nano 的内置 AI 接口。Google AI Edge 旗下的 Gallery、Eloquent 应用，以及 Mac 离线会议笔记应用 Foresight 也在使用这款引擎。

支持的设备与模型

ML Drift 可通过 OpenGL ES、OpenCL、Metal 和 WebGPU 运行。桌面端支持仍处于早期预览阶段：在 Windows 和 Linux 上通过 WebGPU（Dawn）运行，在 macOS 上通过 Metal 运行。除视觉、音频和深度估计模型外，该引擎还支持大语言模型和大型扩散模型，并针对处理提示词的预填充阶段和生成回答的解码阶段分别做了优化。

根据谷歌公布的数据，ML Drift 让 YouTube Shorts 的平均帧延迟最多降低 40%，让 Google 相册比旧版 GPU 代理最多快 2 秒。谷歌还表示，在 Gemma 测试中，它的内存占用比其他框架最多低 12%。根据公告中合作伙伴的说法，Adobe 在 Lightroom 和 Photoshop 的“选择主体”“选择天空”等功能上获得最高 30% 的提速，Snap 则在 Snapchat 的人脸和风格特效中将延迟降低了 30%。Arm、英特尔和高通也作为硬件合作伙伴，为各自的显卡做出了贡献。

开发者如何使用

应用开发者可以通过 LiteRT 的 ML Drift GPU 加速器使用该引擎。面向显卡和系统工程师，GitHub 仓库提供了 C++ 接口、自定义着色器支持，以及 Android 上 OpenCL 和 WebGPU 的快速入门示例。ML Drift 已包含在 Android 独立 LiteRT 软件包中，通过 Google Play 服务分发的方式即将推出。

桌面端支持目前仍是早期预览，引擎的重点依然是移动和边缘设备。文中的速度和内存数据由谷歌及其合作伙伴测得。想获得更全面的了解，也请关注独立研究人员的评估。

来源：Google for Developers：ML Drift 发布公告、GitHub：ML Drift、LiteRT：ML Drift GPU 加速器。