2026-07-28 日报

主题: 生成式召回与判别式排序在工业系统中走向单模型统一

标签: semantic-id · industrial · transformer · pretrained-lm · parameter-scaling

📊 统计: 共 16 篇 · 精读 6 · 🏢 工业界 6 · 🎓 学术 10 · discriminative-rec 5 · generative-rec 6 · llm 5 · other 3

综述

今日 16 篇入选：生成式推荐 6 篇、判别式推荐 5 篇、LLM 5 篇，工业界论文占多数，6 篇完成精读。快手 UniR² 把用户上下文、SID 生成轨迹与排序特征拼成单条 decoder-only 序列，用双查询前缀因果注意力隔离两类任务的可见性，端到端推理耗时降 54.29%。JD 的 OxygenREC-v2 把行为指令注入解码前缀，并以可验证命中率奖励加特权 teacher 自蒸馏替代外部奖励模型，六个生产场景 GMV +2.8~6.8%。Snap 的 EGR 干脆弃用 SID，用共享 LLM 同时编码物品与用户历史，推理退化为标准 MIPS，线上 CVR +2.91% 并已全量。阿里 SpecFormer 把推荐 Transformer 的深度失效归因于“谱坍缩”，用可学习幂律谱软化让注意力有效秩随深度上升，广告 CTR +1.34%；Meta 的 Mosaic 以异构用户嵌入专家舰队替代单一大编码器，GPU 服务用量降 79%；YouTube Music 则用分层 A/B 证明反馈闭环干预的收益与代价主要由其施加层决定。趋势上，生成式推荐正从“SID 生成 + 外部排序/奖励模型”的拼装流水线，收敛为单模型内部完成召回、排序与判别监督；谱结构视角与表征复用则成为工业侧继续 scaling 的两条现实抓手。

重点论文

UniR2 · ⭐ 8/10

Unifying Generative Recall and Multi-Objective Ranking in a Single Decoder-Only Sequence

🏢 Kuaishou · 生成式推荐 / 判别式推荐

UniR² 把用户上下文、SID 生成轨迹与物品排序特征拼成一条 decoder-only 异构序列，用双查询前缀因果注意力（DQ-PCA）给召回/排序不同可见性、用 stop-gradient + ranking-only LoRA 做优化隔离，在一次前向内统一生成式召回与多目标排序，端到端推理时间降低 54.29%，快手直播双端两周 A/B 播放量 +1.177%、送礼金额 +2.569%。

OxygenREC-v2 · ⭐ 8/10

OxygenREC-v2: Internalizing Discrimination into Generative Recommendation

🏢 JD · 生成式推荐

JD.com 的 OxygenREC-v2 把判别式行为信号从「生成之后交给外部排序模型打代理奖励」内化进生成器自身：预训练期把行为指令 I_b 送进 decoder prefix，从第一个解码步就条件化 SID 生成并按行为价值加权损失；后训练期用 EA-TOSD(命中率可验证奖励做 best-of-G 轨迹选择 + 同骨干加近未来 SID 前缀构成的特权 teacher + 低熵 advantage 自蒸馏/高熵前向 KL 的熵门双路)彻底移除奖励模型；离线七项指标六项超过 v1 与 Proxy-RM 基线，3B-A1B MoE 上线 JD 六个生产 surface 取得 UCTCVR +1.6~4.4%、GMV +2.8~6.8%。

SpecFormer · ⭐ 8/10

SpecFormer: Mitigating Embedding and Attention Collapse via Spectral-Aware Transformer for Recommendation

🏢 Alibaba · 判别式推荐

SpecFormer 把「推荐 Transformer 堆层就崩」归因为数据异质性与长尾诱发的谱坍缩，并证明它在前向(低秩注意力当低通滤波器)与反向(梯度只喂主谱方向)构成恶性循环；对症提出可学习幂律谱软化 + 谱软化注意力(Q/K 用软化谱、Value 保持原始) + 奇异值 Taylor 展开的谱残差位置编码，使注意力有效秩随深度单调上升，三数据集 SOTA 并在阿里电商广告全量 A/B 取得 CTR +1.34% / Order +16.72%，延迟仅 +5ms。

Mosaic · ⭐ 7/10

Mosaic: A Fleet of User Embedding Specialists for Recommendation at Meta

🏢 Meta · 判别式推荐

Meta 的 Mosaic 把用户表征层组织成一支架构异构的专家舰队（memorization-driven / dense-heavy / sequential / CoTrain），各自独立训练产出可复用嵌入供多个下游 ranker 消费，并用 MRM 复合标签 + 余弦冗余损失最大化每个新专家的边际信息、CoEval + User Tower Zero-Out 做免打点评估（迭代提速 3-5×）、三路径混合 CPU/GPU 服务栈削减 79% GPU 用量，在 6 个 surface 上取得一致离线 NE 下降与线上 topline 正向。

EGR · ⭐ 7/10

EGR: Embedding-Native Generative Retrieval with a Shared LLM

🏢 Snapchat · 生成式推荐

EGR(Snap)提出 embedding-native 生成式检索:用单一共享 LLM/MLLM backbone 加同一个投影头,同时把 item 元数据编码成直接写入 ANN 索引的稠密向量、把用户交互历史编码成稠密 query 向量,以 IRL(item-pair 对称 InfoNCE)+ NIP(history-to-target InfoNCE,目标侧 stop-gradient)在 IRL 全程在场的调度下联合训练,从而彻底删除 SID 路线的量化器/可变 ID 词表/grounding 层与 embedding 路线的 item-encoder 冻结割裂,推理退化为标准 MIPS 检索;Amazon Reviews 三类目 R@10 全面最优,Snap DPA 上数据 scaling 无饱和(+27%)、冷启动仅退化 5.1%、多模态 +6.9%,线上 A/B CVR +2.91% 并已全量服务 100% 用户。

全部论文