Google 推出 R4T，查询扩展提速 12 至 20 倍

Google Research 发布了名为 Retrieve-for-Train（R4T）的框架，用于搜索与推荐系统中的查询扩展（query fan-out）。该框架只在离线阶段运行一次强化学习（RL）来学习合适的扩展策略，然后把这种行为蒸馏进一个小型扩散模型（diffusion model），由它一次前向生成全部检索方向。

查询扩展是把一个宽泛的提问拆成若干子查询。研究团队指出，通用大语言模型（LLM）在推理时做这件事有两个问题。一是同义改写坍缩：面对 "Bohemian festival style"，零样本的 Qwen3-4B 写出了 "bohemian festival fashion" 和 "festival bohemian clothes"，这类近义表述只会召回高度同质的结果。二是延迟：自回归生成叠加反复的检索调用很慢，Best-of-N 采样虽能提升质量，却成倍推高推理成本。

奖励设计与训练

在开放式抽象检索（OAR）任务中，奖励由三个加权项组成。消融实验说明三项缺一不可：只用接地性时，Gemma3-4B 收敛到 "line ending line ending line ending" 这类字符串；加入对齐项后坍缩更快，策略反复输出原查询的改写；再加入多样性项才堵住了这两条捷径。训练采用带软 PPO 正则的 GRPO，加入正向与反向 KL 惩罚，组大小为 8，学习率 1×10⁻⁷，全局批量 512。

实验结果

实验使用 Polyvore 服饰搭配数据集，配 128 维的 CLIP 俄罗斯套娃编码器，另有一套采用 MuLan 向量的自有专家歌单音乐数据集。各方法均生成 k=10 个子查询，Best-of-N 取 N=5。由 LLM 评委按 5 分李克特量表打分，在 Polyvore 上 Gemma3-4B 搭配 R4T-FOLM 平均 49.1 分，Best-of-N 为 40.9 分，零样本为 38.5 分；多样性从 56.0 升至 76.8，扩散版本保留到 74.3。音乐数据集上两者分别为 58.1 与 49.2。

弱监督组合检索方面，R4T-FOLM（Qwen）取得 20.9 的 Recall@5K 和 64.6 的 Hit@5K，Gemini-2.5-Flash 为 15.7 和 52.1，但其 Vendi Score 降至 27.5，作者归因于强化学习优化下输出熵下降。

速度上，批量为 8 时自回归扩展约需 1.46 秒，扩散模型为 0.07 秒；批量为 1024 时前者接近 50 秒，后者为 4.21 秒。作者称加速幅度稳定在 12 至 20 倍。详情见 MarkTechPost 报道。