2026-04-15 日报
主题: 工业推荐的算力分摊与信息补全,兼及语言模型的循环扩展律
标签: industrial · semantic-id · feature-interaction · parameter-scaling · inference-serving
📊 统计: 共 13 篇 · 精读 4 · 🏢 工业界 5 · 🎓 学术 8 · generative-rec 3 · discriminative-rec 4 · llm 3 · other 4
综述
今日 13 篇,4 篇精读;判别式推荐 4 篇、生成式推荐 3 篇、LLM 3 篇、其他 4 篇,带线上部署的工业工作仅 Shopee、美团、Meta 三篇,余下 10 篇为学术。UniRec(Shopee)在 SID 之前先解码类目属性、并给码本加曝光加权容量约束,离线命中与线上 GMV 同升,但实验只覆盖类目一类属性,所称的逐步熵下降无实测值。HILL(Meta)联合训练分层索引与检索基础模型,让大模型只在千量级粗层节点打分以摊薄成本,不过“联合训练优于离线聚类”的唯一对照未过其自定显著阈值。DSAIN(美团)以“情境”统一行为类型与时空信息,把情境向量重解释为乘性作用的微网络,但完整情境只有内部数据具备。Parcae(UCSD 与 Together AI)把层循环改写成动力系统、约束谱半径以稳住训练,给出循环这条扩展轴的幂律,其框架只覆盖了部分不稳定来源。共同线索是在固定预算下重排算力与信息的落点;工业结论多依赖内部数据,可复现性仍是短板。
重点论文
Parcae · ⭐ 8/10
Parcae: Scaling Laws For Stable Looped Language Models
🏢 Together AI · LLM
把层循环的前向过程精确改写为残差流上的动力系统并线性化到 LTI 稳定判据,指出既有循环架构的残差爆炸源于注入矩阵 A 的谱半径无约束;Parcae 用负对角参数化加 ZOH 离散化强制 rho(A)<1,配合 prelude 归一化与逐序列深度采样,在参数与数据对齐下相对 RDM 降低 6.2% 困惑度、相对 1.3B Transformer 提升 2.99 Core 分,并给出最优循环次数与 token 数的幂律以及测试时循环的饱和指数衰减律,二者可合并为一条统一律。
UniRec · ⭐ 8/10
🏢 Shopee · 生成式推荐
UniRec 用贝叶斯定理把生成式推荐相对判别式的表达力差距归因为 SID 压缩导致的 item 侧特征覆盖不全,提出 Chain-of-Attribute 在 SID 前先解码类目属性以降低每步条件熵,配合曝光加权容量约束 SID、Task-Conditioned BOS 与哈希 Content Summary 及 RFT+DPO 对齐,在 Shopee 离线 HR@50 相对最强 baseline +22.6%、线上 GMV +5.60%。
DSAIN · ⭐ 7/10
Deep Situation-Aware Interaction Network for Click-Through Rate Prediction
🏢 Meituan · 判别式推荐
DSAIN 提出 situation(情境)概念把行为类型与时空副信息统一起来,用 Gumbel-Softmax 重参数化对曝光噪声做可微软采样去噪,把情境特征 embedding 重解释为 micro-MLP 的权重偏置以乘性作用于 item 表征(而非加性污染),再用 behavior/channel/feature 三向 MLP-Mixer 一致捕捉跨行为、跨通道、跨情境特征相关性,在美团外卖 40% 主流量 7 天 A/B 取得 CTR +2.70% / CPM +2.62% / GMV +2.16% 并已全量部署于列表广告推荐系统。
HILL · ⭐ 6/10
Efficient Retrieval Scaling with Hierarchical Indexing for Large Scale Recommendation
🏢 Meta · 生成式推荐 / 判别式推荐
Meta 提出 HILL,用 cross-attention 软分配加残差量化把一棵分层索引与基础检索模型 MoNN 联合训练出来,在线沿树 beam search 剪枝把大模型的算力摊到 O(1000) 个粗层索引节点上(基建成本 24.6x→3.9x,线上广告指标 +2.57%),并发现索引中间节点回溯出的
配对是一小批高质量新数据,可用于 test-time 微调。
全部论文
| 模型 | 标题 | 类别 | 公司 | 摘要分 | 精读分 |
|---|---|---|---|---|---|
| Parcae | Parcae: Scaling Laws For Stable Looped Language Models | LLM | 🏢 Together AI | 8 | 8 |
| UniRec | UniRec: Bridging the Expressive Gap between Generative and Discriminative Recommendation via Chain-of-Attribute | 生成式 | 🏢 Shopee | 8 | 8 |
| DSAIN | Deep Situation-Aware Interaction Network for Click-Through Rate Prediction | 判别式 | 🏢 Meituan | 7 | 7 |
| HILL | Efficient Retrieval Scaling with Hierarchical Indexing for Large Scale Recommendation | 生成式 / 判别式 | 🏢 Meta | 8 | 6 |
| — | Mitigating Collaborative Semantic ID Staleness in Generative Retrieval | 生成式 | 🎓 学术 | 7 | — |
| SEMCo | Sparse Contrastive Learning for Content-Based Cold Item Recommendation | 判别式 | 🎓 学术 | 6 | — |
| — | Better and Worse with Scale: How Contextual Entrainment Diverges with Model Size | LLM | 🏢 NVIDIA | 5 | — |
| ClusterRAG | ClusterRAG: Cluster-Based Collaborative Filtering for Personalized Retrieval-Augmented Generation | LLM | 🎓 学术 | 5 | — |
| — | Is Sliding Window All You Need? An Open Framework for Long-Sequence Recommendation | 判别式 | 🎓 学术 | 5 | — |
| TabDistill | Selecting Feature Interactions for Generalized Additive Models by Distilling Foundation Models | 其他 | 🎓 学术 | 5 | — |
| TRACE | TRACE: A Conversational Framework for Sustainable Tourism Recommendation with Agentic Counterfactual Explanations | 其他 | 🎓 学术 | 4 | — |
| — | Loop Corrections to the Training Error and Generalization Gap of Random Feature Models | 其他 | 🎓 学术 | 4 | — |
| — | Memory-Based vs. Context-Only Conditioning Produces Distinct Behavioral Patterns in Stateful Personalization | 其他 | 🎓 学术 | 4 | — |