2026-07-21 日报

主题: 工业级推荐:统一大模型骨干与标签去偏双线并进

标签: industrial · feature-interaction · parameter-scaling · multi-task · transformer

📊 统计: 共 7 篇 · 精读 2 · 🏢 工业界 2 · 🎓 学术 5 · discriminative-rec 5 · generative-rec 1 · other 1

综述

今日共 7 篇,判别式推荐 5 篇、生成式 1 篇、其他 1 篇;工业界与学术界各占半壁,2 篇精读均来自头部工业系统。Meta 的「WHALE」把 Wukong(非序列高阶特征交互)与 HSTU(长行为序列)两个可扩展骨干在每一层内同时保活,用「Wukong 交互表示 query HSTU 序列表示」的跨分支注意力做逐层渐进式融合,配 shared-KV、非对称反向、shared-gate SwiGLU 等系统协同优化,三方向 scaling 一致领先,线上 A/B 主指标 +0.113% 已部署,代表了单范式向统一可扩展骨干演进的方向。快手的「UAME」则从数据质量入手,把端到端多目标集成排序的预测重构为高斯打分变量(均值=满意度、方差=不确定性),用概率化 pairwise 排序损失加不确定性感知样本级加权,把冲突驱动的不确定性反过来当作纠偏工具嵌入核心优化,以缓解满意度标签偏差,在数亿 DAU 短视频系统上零额外延迟地一致改进 EMER/EASQ 两个 SOTA 骨干。其余 brief 覆盖生成式推荐的解码 trie 优化(BONSAI)、隐私受限下的缺特征广告预估(RAMP)、多模态冷启动的稀疏表示、对话式推荐的马太效应缓解与动态图脉冲自监督。主线清晰:一端是把推荐主模型往更大更统一的可扩展骨干上推,另一端是从标签与不确定性角度提升优化信号质量,二者共同指向工业推荐系统在规模化与可信优化上的持续深耕。

重点论文

WHALE · ⭐ 8/10

WHALE: A Scalable Unified Model for Recommendation with Wukong-HSTU Architecture

🏢 Meta · 判别式推荐

Meta 的 WHALE 在每一层内同时保持 Wukong(非序列高阶特征交互)与 HSTU(长行为序列)两个可扩展骨干活跃,用「Wukong 交互表示 query HSTU 序列表示」的跨分支注意力做逐层加深的渐进式融合,配 shared-KV/非对称反向/shared-gate SwiGLU 等系统协同优化,离线三方向 scaling 一致领先且在线 A/B 主指标 +0.113% 已部署。

UAME · ⭐ 7/10

Uncertainty as Remedy: Mitigating Satisfaction Label Bias in Short Video Multi-Objective Ensemble Ranking

🏢 Kuaishou · 判别式推荐

UAME 把端到端多目标集成排序的预测建模为高斯打分变量(均值=满意度、方差=不确定性)，用概率化 pairwise 排序损失 + 不确定性感知样本级加权把冲突驱动的不确定性作为纠偏工具嵌入核心优化管线以缓解满意度标签偏差，在 Kuaishou 数亿 DAU 短视频系统上一致改进 EMER/EASQ 两个 SOTA 骨干、线上零额外延迟且统计显著。

全部论文