2026-09-29 日报

主题: 长序列与生成式推荐提效，反馈信号测量纠偏

标签: sequence-compression · semantic-id · negative-feedback · parameter-scaling · academic

📊 统计: 共 18 篇 · 精读 2 · 🏢 工业界 1 · 🎓 学术 17 · llm 5 · discriminative-rec 3 · other 6 · generative-rec 4

综述

本期 18 篇（含 3 篇晚公告的早前提交）：LLM 5、生成式推荐 4、判别式 3、其他 6；工业 1 篇，精读 2 篇。Google/YouTube 的 FLVM 把观看、点赞、点踩、问卷视为潜在价值的带噪测量，以 stop-gradient 基线吸收时长等混杂，Shorts 14 天 A/B 主指标 +2.67%，但模型、标签与打分公式一并替换、无消融，去混杂也无外部标尺验证。清华/天大的 X-MoD 在稠密锚点间堆叠稀疏层，总参达激活的 4.8–8.8 倍，32k 上下文下六组胜 MoE，但领先仅 0.008–0.025、单种子，与部分消融降幅和定律外推误差同量级，主要靠省下注意力 FLOPs 多训约 2 倍 token。学术侧 SPRINT 单步生成 Semantic ID、提速 8–10 倍，DP-Rec 按熵动态分块压缩长行为序列。趋势：提效转向压缩计算路径，反馈与评测研究则追问信号是否真测到偏好；两篇精读的收益都还需拆开归因。

重点论文

X-MoD · ⭐ 6/10

X-MoD: Practical Scaling Laws for Sparse-Depth Routing Beyond Mixture-of-Depths

🎓 学术 · LLM

X-MoD 把 Mixture-of-Depths 的一稀疏一稠密交替推广为「稠密前缀 +（AK 个 top-1/K 稀疏层 + 1 个稠密锚点）×N1」，用 token 稀疏度 K 与锚点步长 A 解耦总参数与激活等效参数（161/298 物理层、总参为激活的 4.8–8.8 倍），配合整层残差门控方差缩放、深度方向 token-choice bias 与稠密前缀使深层稀疏堆叠可训（412 层仍稳定），并在 109 个配置上拟合相对等 FLOPs 稠密基线的残差律（容量奖励 + 稀疏上下文修正 + A–K 交互，R²=0.985，预设外推 RMSE 0.0196，推出 K̂∝L^0.55 且几乎与规模无关）；在 L=32k、等激活规模等训练 FLOPs 下六组对 MoE 全胜但仅领先 0.008–0.025 loss，且其每 token FLOPs 减半几乎全部来自稀疏层只在路由子集内做注意力、从而多吃约 2 倍 token——同 token 的 Routed-FFN 对照反输 MoE 0.06–0.07，A3K16 实测训练吞吐还低于 Dense。

FLVM · ⭐ 5/10

Mend the Measurement Gap: Latent User Preference Modeling for Short-Form Video Recommendation

🏢 Google · 判别式推荐

Google/YouTube 提出因子化潜在价值模型 FLVM，把短视频的观看时长、完播、点赞、点踩、问卷等异构反馈视为低维潜在价值 z=[z_p 消费, z_a 主动互动, z_s 情感极性] 的带噪测量：每个反馈头的 logit 由一条只看时长/用户倾向/会话上下文、以独立损失训练且被 stop-gradient 的受限基线，加上一条经硬稀疏路由与正增益的 VIB 潜在优势组成，serving 时只用 σ(z_s) 与 softplus(z_p) 标量化打分并替换生产多任务 pre-scorer；YouTube Shorts 14 天 A/B 主观看享受指标 +2.67%，但无组件消融、对照为整体系统替换、去混杂未经问卷等外部标尺验证。

SPRINT · ⭐ 7/10

SPRINT: Single-Step Generative Recommendation via Average Probability Velocity

🎓 学术 · 生成式推荐

提出 SPRINT，实现基于 Semantic ID 的单步生成式推荐：把 SID 生成视为 token 生成概率的流，并以整个生成过程的“平均概率速度”刻画，证明该平均速度完全由各 token 的平均生成概率决定，因此用双向 Transformer 单次前向直接参数化并学习所有位置的 token 概率；针对各位置独立生成导致的 token 一致性丢失，设计 token 级与 SID 级双层流对比目标，把目标 SID 与负 SID 对比。相比次快的 AR/NAR 方法提速 8.39–10.04 倍，精度较次优方法平均提升 7.77%。

DP-Rec · ⭐ 7/10

DP-Rec: Towards Dynamic Patching for Efficient Long-Sequence Recommendation

🎓 学术 · 生成式推荐

受 Byte Latent Transformer 启发提出 DP-Rec，把长序列推荐从物品级建模改为 patch 级建模：用对比熵“意外度”识别信息量高的行为边界做动态切分，轻量 patch 编码器把带时序上下文的片段压成少量动态潜在行为向量，再由更大的潜在 Transformer 处理并解码做下一物品预测。在受限算力预算下可扩展到长序列，效率-精度权衡优于不压缩与定长压缩基线。

全部论文