2026-06-16 日报

主题: 工业级 Transformer 原生推荐架构与生成式范式双线推进

标签: transformer · industrial · search-ranking · pretrained-lm

📊 统计: 共 12 篇 · 精读 5 · 🏢 工业界 2 · 🎓 学术 10 · discriminative-rec 8 · llm 2 · generative-rec 3

综述

本日共收录 12 篇论文,以判别式推荐为主(8 篇),生成式推荐(3 篇)与 LLM(2 篇)为辅,工业界参与度高(Shopee、快手、腾讯、网易云音乐)。OneRank(Shopee)把多任务推理内化进 Transformer 栈,以任务 token 互不可见、候选感知上下文化与带梯度解耦的跨任务注意力消除编码器-预测器分离,线上 GMV/UU +1.01%;OneBar(快手)用单个 BART encoder-decoder 取代多阶段检索级联,并以免奖励模型的 on-policy 蒸馏(PIOPD)内化点击偏好,Guided GMV +21.67%;TAPF(腾讯)提出零额外推理成本的混合极性行为序列与目标条件极性门控,在五种 CTR 架构、三个数据集上一致提升 AUC;Arch-Warmup(Pluralis)以 warm-started 幂迭代在线追踪十亿参数 Transformer 的 Hessian 最大特征值,用零初始化逐步解锁深度把曲率约束在稳定边界内、抑制 loss spike。总体看,Transformer 原生架构正同时重塑判别式排序与生成式检索两条主线,工业落地与大模型训练稳定性并重。

重点论文

OneRank · ⭐ 8/10

OneRank: Unified Transformer-Native Ranking Architecture for Multi-Task Recommendation

🎓 学术 · 判别式推荐

提出 OneRank,把多任务推理内化进 Transformer 栈以消除编码器-预测器分离:任务 token 互不可见实现早期特化、候选感知上下文化弥合训练-服务 gap、带策略性梯度解耦的跨任务注意力做受控知识迁移、动态匹配打分替代静态 MLP head,在 Shopee 线上取得 GMV/UU +1.01%。

OneBar · ⭐ 8/10

OneBar: An End-to-End Content-Grounded Generative Query Recommendation Framework for E-Commerce Video Feeds

🏢 Kuaishou · 生成式推荐

提出 OneBar,面向短视频电商信息流底栏的端到端内容接地生成式查询推荐框架,用单个 BART encoder-decoder 取代多阶段检索级联,并通过 PIOPD(偏好内化 on-policy 蒸馏)免奖励模型地内化后验点击偏好,在快手主信息流在线 A/B 取得 Guided GMV +21.67%。

TAPF · ⭐ 8/10

Beyond Positive Signals: Unlocking Implicit Negative Behaviors for Enhanced Sequential User Modeling

🏢 Tencent · 判别式推荐

提出混合极性行为序列(固定长度预算内按时序交错正负反馈 token、替换部分正向 token,零额外在线推理成本)+ 轻量 Target-Aware Polarity Fusion 目标条件极性门控,在 DIN/Transformer/OneTrans/HyFormer/MixFormer 五种 CTR 架构、三个数据集上一致取得 +1.9%~+9.6% 相对 AUC 提升。

Arch-Warmup · ⭐ 7/10

Taming Curvature: Architecture Warm-Up for Stable Transformer Training

🎓 学术 · LLM

提出 warm-started 幂迭代(复用上一步顶特征向量 + HVP,每步<5次)实现十亿参数级 Transformer 的在线(预条件)Hessian 最大特征值追踪,并基于 Edge-of-Stability 理论提出'架构 warm-up'——用零初始化逐步解锁网络深度把有效曲率约束在稳定边界内,在不拖慢收敛的前提下减少 loss spike 并拓宽可用学习率范围。

全部论文