← 返回报告列表

2026-04-15 日报

日报 📅 2026-04-14
工业推荐的算力分摊与信息补全,兼及语言模型的循环扩展律
industrial semantic-id feature-interaction parameter-scaling inference-serving
📊 共 13 篇 · 精读 4

2026-04-15 日报

主题: 工业推荐的算力分摊与信息补全,兼及语言模型的循环扩展律

标签: industrial · semantic-id · feature-interaction · parameter-scaling · inference-serving

📊 统计: 共 13 篇 · 精读 4 · 🏢 工业界 5 · 🎓 学术 8 · generative-rec 3 · discriminative-rec 4 · llm 3 · other 4

综述

今日 13 篇,4 篇精读;判别式推荐 4 篇、生成式推荐 3 篇、LLM 3 篇、其他 4 篇,带线上部署的工业工作仅 Shopee、美团、Meta 三篇,余下 10 篇为学术。UniRec(Shopee)在 SID 之前先解码类目属性、并给码本加曝光加权容量约束,离线命中与线上 GMV 同升,但实验只覆盖类目一类属性,所称的逐步熵下降无实测值。HILL(Meta)联合训练分层索引与检索基础模型,让大模型只在千量级粗层节点打分以摊薄成本,不过“联合训练优于离线聚类”的唯一对照未过其自定显著阈值。DSAIN(美团)以“情境”统一行为类型与时空信息,把情境向量重解释为乘性作用的微网络,但完整情境只有内部数据具备。Parcae(UCSD 与 Together AI)把层循环改写成动力系统、约束谱半径以稳住训练,给出循环这条扩展轴的幂律,其框架只覆盖了部分不稳定来源。共同线索是在固定预算下重排算力与信息的落点;工业结论多依赖内部数据,可复现性仍是短板。

重点论文

Parcae · ⭐ 8/10

Parcae: Scaling Laws For Stable Looped Language Models

🏢 Together AI · LLM

把层循环的前向过程精确改写为残差流上的动力系统并线性化到 LTI 稳定判据,指出既有循环架构的残差爆炸源于注入矩阵 A 的谱半径无约束;Parcae 用负对角参数化加 ZOH 离散化强制 rho(A)<1,配合 prelude 归一化与逐序列深度采样,在参数与数据对齐下相对 RDM 降低 6.2% 困惑度、相对 1.3B Transformer 提升 2.99 Core 分,并给出最优循环次数与 token 数的幂律以及测试时循环的饱和指数衰减律,二者可合并为一条统一律。

UniRec · ⭐ 8/10

UniRec: Bridging the Expressive Gap between Generative and Discriminative Recommendation via Chain-of-Attribute

🏢 Shopee · 生成式推荐

UniRec 用贝叶斯定理把生成式推荐相对判别式的表达力差距归因为 SID 压缩导致的 item 侧特征覆盖不全,提出 Chain-of-Attribute 在 SID 前先解码类目属性以降低每步条件熵,配合曝光加权容量约束 SID、Task-Conditioned BOS 与哈希 Content Summary 及 RFT+DPO 对齐,在 Shopee 离线 HR@50 相对最强 baseline +22.6%、线上 GMV +5.60%。

DSAIN · ⭐ 7/10

Deep Situation-Aware Interaction Network for Click-Through Rate Prediction

🏢 Meituan · 判别式推荐

DSAIN 提出 situation(情境)概念把行为类型与时空副信息统一起来,用 Gumbel-Softmax 重参数化对曝光噪声做可微软采样去噪,把情境特征 embedding 重解释为 micro-MLP 的权重偏置以乘性作用于 item 表征(而非加性污染),再用 behavior/channel/feature 三向 MLP-Mixer 一致捕捉跨行为、跨通道、跨情境特征相关性,在美团外卖 40% 主流量 7 天 A/B 取得 CTR +2.70% / CPM +2.62% / GMV +2.16% 并已全量部署于列表广告推荐系统。

HILL · ⭐ 6/10

Efficient Retrieval Scaling with Hierarchical Indexing for Large Scale Recommendation

🏢 Meta · 生成式推荐 / 判别式推荐

Meta 提出 HILL,用 cross-attention 软分配加残差量化把一棵分层索引与基础检索模型 MoNN 联合训练出来,在线沿树 beam search 剪枝把大模型的算力摊到 O(1000) 个粗层索引节点上(基建成本 24.6x→3.9x,线上广告指标 +2.57%),并发现索引中间节点回溯出的 配对是一小批高质量新数据,可用于 test-time 微调。

全部论文

模型 标题 类别 公司 摘要分 精读分
Parcae Parcae: Scaling Laws For Stable Looped Language Models LLM 🏢 Together AI 8 8
UniRec UniRec: Bridging the Expressive Gap between Generative and Discriminative Recommendation via Chain-of-Attribute 生成式 🏢 Shopee 8 8
DSAIN Deep Situation-Aware Interaction Network for Click-Through Rate Prediction 判别式 🏢 Meituan 7 7
HILL Efficient Retrieval Scaling with Hierarchical Indexing for Large Scale Recommendation 生成式 / 判别式 🏢 Meta 8 6
— Mitigating Collaborative Semantic ID Staleness in Generative Retrieval 生成式 🎓 学术 7 —
SEMCo Sparse Contrastive Learning for Content-Based Cold Item Recommendation 判别式 🎓 学术 6 —
— Better and Worse with Scale: How Contextual Entrainment Diverges with Model Size LLM 🏢 NVIDIA 5 —
ClusterRAG ClusterRAG: Cluster-Based Collaborative Filtering for Personalized Retrieval-Augmented Generation LLM 🎓 学术 5 —
— Is Sliding Window All You Need? An Open Framework for Long-Sequence Recommendation 判别式 🎓 学术 5 —
TabDistill Selecting Feature Interactions for Generalized Additive Models by Distilling Foundation Models 其他 🎓 学术 5 —
TRACE TRACE: A Conversational Framework for Sustainable Tourism Recommendation with Agentic Counterfactual Explanations 其他 🎓 学术 4 —
— Loop Corrections to the Training Error and Generalization Gap of Random Feature Models 其他 🎓 学术 4 —
— Memory-Based vs. Context-Only Conditioning Produces Distinct Behavioral Patterns in Stateful Personalization 其他 🎓 学术 4 —