Paper Reading

96 papers
📄 论文 96 📅 报告 26 🔒 个人文档 9
生成式 Snapchat
8 │ 8 │ —
Latte Expressiveness Limits of Autoregressive Semantic ID Generation in Generative Recommendation
Latte 把目标 SID 前预置一个随机 latent token，把单棵 SID 解码树展开成森林，松弛由 tree-distance 强加的概率耦合，从而打破 GR 在 rank-reversal 与 forced-transitivity 两类基本场景上的表达力极限，在 Amazon Reviews 三类目带来 NDCG@10 +3.45% 的相对提升。
semantic-id transformer academic
2026-05-07
生成式 Tencent
— │ 8 │ —
UniVA Unified Value Alignment for Generative Recommendation in Industrial Advertising
UniVA 在腾讯微信视频号广告平台上提出统一价值对齐的生成式推荐框架，通过 Commercial SID 分词器、Generation-as-Ranking 双头解码器和 eCPM-aware 强化学习实现 SID 构造、解码和服务三层的商业价值对齐，离线 HR@100 提升 37.04%，线上 GMV +1.50%。
transformer moe pretrained-lm rl recursive-depth
2026-05-07
LLM 学术
7 │ 7 │ —
AIR-MoE Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts
AIR-MoE 把 IVF 倒排索引思想搬进端到端可训练的 MoE 路由:用 gradient-free 自适应球面 k-means 学一个 codebook 做 coarse shortlisting,再在短名单内做精确 top-K 打分,在 65k experts 设定下持续优于 PEER/Hierarchical 基线,PPL 改善最高 10% 而无需对专家中心施加结构约束。
moe transformer quantization academic
2026-05-06
生成式 学术
7 │ 7 │ —
BLADE Beyond Static Best-of-N: Bayesian List-wise Alignment for LLM-based Recommendation
把 LLM4Rec 的 BoN alignment 中静态参考导致的 high-reward CDF 饱和与梯度衰减形式化为两大瓶颈, 用 Beta-Binomial 共轭闭式融合 static prior 与 dynamic batch evidence 构造自演化 quantile 目标, 与 GRPO 共享 sampling 实现 zero-overhead, 在 3 个数据集 8 个 baseline 一致领先并可推广到 fairness/diversity 复合目标.
pretrained-lm rl academic
2026-05-06
生成式 Alibaba
7 │ 6 │ —
RecGPT-Mobile RecGPT-Mobile: On-Device Large Language Models for User Intent Understanding in Taobao Feed Recommendation
RecGPT-Mobile 把 LLM 下沉到 Mobile Taobao 客户端做 next-query 意图预测：用 LoRA+Quant 把 Qwen3-0.6B 压到端侧，4 阶段自适应 prompt 构建严守 token 预算，熵+Jaccard+JS 三信号意图漂移触发把推理频率降到 21%、电量降到 40%，4 场景一个月 A/B 平均 +1.8% CLICK / +2.7% PAY / +2.5% GMV。
pretrained-lm quantization industrial search-ranking
2026-05-06
other Alibaba
8 │ 8 │ —
HLEM One Pool, Two Caches: Adaptive HBM Partitioning for Accelerating Generative Recommender Serving
HLEM 把 GR serving 中 EMB cache 与 KV cache 争抢同一块 HBM 的零和问题建模为 MDP,用 PPO+OnlineAdapter+RecoveryController 三层控制器以 32μs 决策开销追踪在线最优分配,配 paged KV pool/contiguous EMB slab 实现非干扰式调整和 EMB-KV-aware 路由,在 32 节点 A100 集群上比最强静态基线降低 P99 24-38%,达成 93.5-99.6% SLO 满足率
industrial transformer rl
2026-05-06
生成式 学术
8 │ 9 │ —
CapsID CapsID: Soft-Routed Variable-Length Semantic IDs for Generative Recommendation
CapsID 用 capsule 软路由替代 RQ-VAE 的硬 argmax 分配，配合置信驱动变长 SID 与语义 + 频率双门控的 SemanticBPE 子词合并，在 3 个 Amazon 数据集上相对最强 single-rep baseline R@10 提升 8.9–11.0%，并在 35M item 工业目录上以 51% 的 COBRA 推理延迟追平或超越其指标。
semantic-id quantization transformer industrial
2026-05-06
other 学术
7 │ 7 │ —
ReClaim Foundation Models to Unlock Real-World Evidence from Nationwide Medical Claims
Yale 团队在 MarketScan 200M 入组人 43.8B 理赔事件上从零训练 1.7B Qwen3 风格 healthcare foundation model ReClaim，1208 病发生预测平均 AUC 75.57% 显著超越 LightGBM 和 Delphi，instruct token post-training 用 100K 样本带来 +13.76pp 单步跃升，并将 foundation model embedding 引入倾向得分使 RWE 因果推断 EASE 偏差降低 72%。
transformer parameter-scaling academic
2026-05-04
LLM ByteDance
8 │ 9 │ —
InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition
InfoLaw 把 LLM 训练重新刻画为信息累积过程，引入 quality density f_d=e^{-θd} 与 log(K) 归一化的指数衰减 1-e^{-λ(N)R/log(K)}，把不同 mixture × scale × repetition 的 loss 坍缩到一条 L=α·info^{-β} 的统一幂律；从 252M-1.2B + 3 mixture 拟合，外推到 7B + 425B token mean error 0.15%/max 0.96%，并能在 100k 候选中选出 prescriptive 最优 recipe（小模型偏 quality、大模型偏 diversity）。
transformer parameter-scaling industrial
2026-05-04
判别式 Tencent
7 │ 7 │ —
FEDIN FEDIN: Frequency-Enhanced Deep Interest Network for Click-Through Rate Prediction
FEDIN 通过实证发现用户兴趣谱在目标物品条件下呈现低熵集中模式，提出 target-aware 复值 MLP 频谱滤波 + 双分支（时域 patch Transformer + 频域）+ Top-k Target Attention 融合，在三个公开 CTR 数据集上一致超越 DIN/DIEN/SASRec/DIFF 等基线。
transformer sparse-attention academic
2026-05-03
LLM Meta
8 │ 8 │ —
Compute Optimal Tokenization
本文用 988 个 BLT + 320 个 subword 模型系统研究 tokenizer 压缩率对 scaling law 的影响，把 Chinchilla 的 '20 token/param' 推广为 '~60 byte/param 跨 tokenizer 不变'，并发现最优压缩率随 compute budget 下降、随语言 parity 上升。
parameter-scaling transformer academic
2026-05-02
LLM 学术
8 │ 8 │ —
Prescriptive Scaling Laws for Data Constrained Training
在 Chinchilla scaling law 上加一个简单的加性过拟合惩罚项 P·R_D^δ·(N/U_D)^κ，1 个自由参数即让 multi-epoch R² 从 0.58 跃至 0.95，给出 'compute 超过阈值后扩大模型而非加 epoch' 的反直觉但实测最优的分配建议，并把过拟合代价孤立为单一系数 P 解释 strong weight decay 在数据受限场景下削减 P 70% 的现象。
transformer parameter-scaling academic
2026-05-02
生成式 学术
7 │ 7 │ —
PAD-Rec Position-Aware Drafting for Inference Acceleration in LLM-Based Generative List-Wise Recommendation
PAD-Rec 通过在 speculative decoding 草稿模型中注入 within-item slot 与 draft-step 位置嵌入并加门控融合，针对生成式推荐的 SID 结构与多步不确定性进行结构感知加速，在四个公开数据集上取得最高 3.1× wall-clock 加速且基本不损失推荐质量。
semantic-id transformer pretrained-lm knowledge-distillation academic
2026-04-30
生成式 学术
7 │ 7 │ —
CARD CARD: Non-Uniform Quantization of Visual Semantic Unit for Generative Recommendation
CARD 通过把文本/视觉/协同信号渲染为统一卡牌图像并由 SigLIP2 编码、再用可学习可逆的非均匀变换（Kumaraswamy CDF 或 scaled logistic）在残差量化前将 latent 矫正到近似均匀空间，同时解决生成式推荐中 SID 异质融合监督不足与 codebook 利用不均两大瓶颈。
semantic-id quantization transformer academic
2026-04-29
LLM Naver
7 │ 7 │ —
RRK Efficient Listwise Reranking with Compressed Document Representations
RRK 把 PISCO 风格的多 token soft compression 引入 listwise reranking，每文档压缩为 8 个 memory token 后由 LoRA 微调的 8B Qwen2.5 reranker 单次前向 + 余弦打分，蒸馏 jina-v3 教师；BEIR 上比 0.6–4B reranker 快 3×–18×，长文档场景效率优势放大到 10×–58×。
pretrained-lm search-ranking knowledge-distillation academic
2026-04-29
生成式 Meituan
7 │ 7 │ —
FLR Factorized Latent Reasoning for LLM-based Recommendation
FLR 把 LLM 推荐里的 latent reasoning 从单一向量分解为 K 个互相解耦的偏好因子，配合多因子注意力+正交/多样/稀疏正则与重新设计的 GRPO（噪声扰动探索+token confidence/exact match 混合奖励+L2 归一 advantage），在 Amazon 四子集上稳定优于 LatentR³。
pretrained-lm rl transformer academic
2026-04-29
other Apple
7 │ 7 │ —
Scaling Properties of Continuous Diffusion Spoken Language Models
Apple 首次给出连续扩散语音语言模型(CD SLM)的完整 scaling law,提出 pJSD 评估扩散模型的语言性,通过 fused two-stage 拟合分析 isoFLOP 曲率与下游指标,并将模型 scale 到 16B 参数
diffusion transformer parameter-scaling
2026-04-27
LLM Kuaishou
9 │ 9 │ —
KSA Kwai Summary Attention Technical Report
Kuaishou 提出 Kwai Summary Attention（KSA），通过在序列中插入可学习 summary token 实现 O(n/k) 语义级 KV cache 压缩，与 GQA/MLA 完全正交可叠加 8× 进一步压缩，在 RULER-128K 上 hybrid-KSA 比 Hybrid-GDN 高 +5.48 分（from-scratch）/+3.69 分（CPT）
transformer sparse-attention knowledge-distillation pretrained-lm industrial
2026-04-27
判别式 学术
7 │ 7 │ —
SUIN Similar Users-Augmented Interest Network
SUIN 把 RAG 思想引入 CTR：为目标用户检索 top-k 相似用户的整段行为序列做拼接增强,通过 UTPE 三性质位置编码与 UTA 双相关性目标注意力同时建模 item-item 和 user-user 信号,在 4 个公开数据集稳定击败短/长序列 baselines。
transformer academic
2026-04-26
生成式 Kuaishou
9 │ 8 │ —
AdaSID Beyond Static Collision Handling: Adaptive Semantic ID Learning for Multimodal Recommendation at Industrial Scale
AdaSID 把 SID 碰撞处理从'固定治疗'升级为'两阶段自适应过程'：语义自适应豁免良性重叠、负载与训练进度自适应分配剩余压力，在 Amazon Toys/Beauty 全部指标超越 QuaSID 等强 baseline，并在快手电商 A/B 实测取得 GMV +0.98%、Orders +0.91%、GPM +1.16% 的业务收益。
semantic-id quantization contrastive-ssl industrial
2026-04-26
生成式 Meituan
7 │ 8 │ —
Pro-GEO Birds of a Feather Cluster Nearby: a Proximity-Aware Geo-Codebook for Local Service Recommendation
Pro-GEO 把 RoPE 从序列位置外推到空间域，通过 geo-centroid 局部坐标系 + 双向 Geo-RoPE 把地理邻近性以正交旋转的方式嵌入 SID 第三层码本，在 Meituan 量级本地服务数据上把平均聚类距离降低 45.6% 同时 Hit@50 提升 1.87%。
semantic-id industrial pretrained-lm transformer
2026-04-25
other 学术
7 │ 7 │ —
PAMT A Parametric Memory Head for Continual Generative Retrieval
提出 PAMT，先正常微调 GenIR 主干，再冻结主干并通过一个 product-key 参数化记忆头做稀疏 value-only 校准，在 MS MARCO 与 NQ 上将持续 GenIR 的 BWT± 拉到与索引型检索器同量级。
transformer pretrained-lm semantic-id search-ranking academic
2026-04-25
LLM Alibaba
7 │ 8 │ —
ResRank ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression
ResRank 用 Encoder-LLM 把每段压成单 embedding 直接喂给 Reranker-LLM,配合残差连接和余弦相似度打分消除生成瓶颈,通过 dual-stage multi-task 端到端联合训练统一检索与列表式重排,在 BEIR/TREC DL 上以零生成 token 接近 GPT-4 效果
pretrained-lm search-ranking contrastive-ssl industrial
2026-04-24
生成式 Meta
— │ 8 │ —
TAWin Objective Shaping with Hard Negatives: Windowed Partial AUC Optimization for RL-based LLM Recommenders
形式化证明 GRPO+二值奖励=AUC、+beam-search=OPAUC，提出 WPAUC 与 Recall@K 的精确双边界以及可微 soft 窗口重加权方法 TAWin，在四个公开数据集上跨 backbone/optimizer/encoding 一致 SOTA
rl pretrained-lm academic
2026-04-24
生成式 Huawei
8 │ 8 │ —
ReCast ReCast: Recasting Learning Signals for Reinforcement Learning in Generative Recommendation
提出 ReCast——一个 repair-then-contrast 的 within-group 信号设计：先用 ground-truth-derived anchor 修复 all-zero group 恢复可学性，再以 hardest 正负对边界对比更新替代全组 reward 归一化，把生成式推荐 RL 的瓶颈从「奖励稀疏」推前到「group 可学性退化」
rl contrastive-ssl pretrained-lm industrial
2026-04-24
判别式 Alibaba
8 │ 8 │ —
LoopCTR LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction
提出 LoopCTR，将共享层递归复用作为正交的第四种 scaling 维度引入 CTR 预估，配合 Hyper-Connected Residuals、MoE 与多深度 process supervision，实现 train-multi-loop / infer-zero-loop——单次前向（甚至完全跳过 Loop Block）即超过所有 Transformer baseline。
transformer moe recursive-depth process-supervision industrial
2026-04-21
判别式 学术
7 │ 7 │ —
CAST CAST: Modeling Semantic-Level Transitions for Complementary-Aware Sequential Recommendation
提出 CAST 框架，通过 LLM 验证的互补关系先验 + 可学习的子空间语义转移张量，在离散语义码空间直接建模细粒度 code-level 转移，在三个 Amazon 数据集上 Recall/NDCG 最高提升 17.66%，相对最强 baseline 训练加速 65x。
transformer semantic-id pretrained-lm academic
2026-04-21
判别式 Kuaishou
8 │ 8 │ —
CS3 CS3: Efficient Online Capability Synergy for Two-Tower Recommendation
提出 CS3 即插即用三模块框架（CAS 循环自适应结构、CTS 跨塔同步、CMS 级联模型共享），在在线学习约束下增强双塔召回，Kuaishou 广告系统三场景一致增益，Scenario A 广告收入 +8.36%
ad-rec industrial recursive-depth knowledge-distillation
2026-04-21
判别式 Tencent
9 │ 8 │ —
RankUp RankUp: Towards High-rank Representations for Large Scale Advertising Recommender Systems
RankUp 通过随机置换分片、多嵌入表、全局 token、跨域嵌入融合与任务专属 token 五个机制提升工业排序器的 Effective Rank，在微信三大广告场景 100% 部署并带来 3.41–4.81% GMV 提升。
industrial ad-rec transformer parameter-scaling
2026-04-20
生成式 Kuaishou
7 │ 7 │ —
On the Equivalence Between Auto-Regressive Next Token Prediction and Full-Item-Vocabulary Maximum Likelihood Estimation in Generative Recommendation--A Short Note
形式化证明 k-token AR-NTP 在 bijective 分词下严格等价于全词表 MLE，首次给出工业 GR 范式的严格理论基础，并推广到级联与并行两种分词。
semantic-id industrial transformer
2026-04-17
判别式 Meituan
9 │ 8 │ 6
SIF Sample Is Feature: Beyond Item-Level, Toward Sample-Level Tokens for Unified Large Recommender Models
通过离线 HGAQ 把每条历史交互的完整 Raw Sample 压缩为紧凑 Token Sample，再用 token-level+sample-level 分解注意力的 SIF-Mixer 建模跨时序交互，把工业排序模型的序列 token 从 item-level 升级到 sample-level。
ad-rec quantization transformer feature-interaction industrial
2026-04-17
生成式 JD
9 │ 8 │ 7
GenRec GenRec: A Preference-Oriented Generative Framework for Large-Scale Recommendation
JD.com 推出的偏好对齐生成式推荐框架，以 Page-wise NTP 解决分页场景的标签歧义，Token Merger 将 SID prompt 压缩 2× 不损精度，GRPO-SR 用 hybrid rewards 抑制 reward hacking，JD App 首页 feed 全量上线后点击数 +9.5%、成交数 +8.7%。
industrial semantic-id rl pretrained-lm transformer
2026-04-16
other Naver
— │ 8 │ —
AuthGR From Relevance to Authority: Authority-aware Generative Retrieval in Web Search Engines
首个将文档权威性融入生成式检索的框架AuthGR，通过VLM多模态评分和CPT-SFT-GRPO三阶段训练，3B模型匹配14B性能并在Naver搜索A/B测试中提升20%+用户参与度
pretrained-lm rl process-supervision industrial transformer
2026-04-15
判别式 Tencent
9 │ 8 │ 8
TokenFormer TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds
提出 TokenFormer 统一推荐架构，通过 BFTS 注意力分层和 NLIR 非线性门控解决多域特征与序列统一建模中的 Sequential Collapse Propagation 问题
transformer feature-interaction industrial ad-rec
2026-04-15
判别式 ByteDance
9 │ 8 │ —
IAT IAT: Instance-As-Token Compression for Historical User Sequence Modeling in Industrial Recommender Systems
提出 Instance-As-Token 两阶段框架，将用户历史训练样本压缩为紧凑嵌入作为序列 token，突破手工序列特征的信息瓶颈，在字节跳动多个广告场景获得显著线上收益
industrial ad-rec transformer parameter-scaling
2026-04-10
LLM 学术
— │ 8 │ —
ReRec ReRec: Reasoning-Augmented LLM-based Recommendation Assistant via Reinforcement Fine-tuning
ReRec 以双图奖励塑形、段落级推理感知优势估计与在线课程调度，把 RFT 推进到复杂查询驱动的 LLM 推荐助手场景，在 RecBench+ 全面刷新 RFT baseline 并保持通用推理/指令/世界知识能力。
rl process-supervision pretrained-lm academic
2026-04-09
判别式 Zalando
— │ 7 │ —
LTE Long-Term Embeddings for Balanced Personalization
提出固定语义基底的长期嵌入 LTE，用加滞后窗口的 CLIP 内容向量加权平均作为 prefix token 注入 SASRec 排序器，Zalando 25 市场在线 A/B 获 engagement +0.61% / revenue +0.42% 显著提升，并用不对称自编码器在保持高惯性的前提下行为微调。
transformer industrial ad-rec pretrained-lm
2026-04-09
判别式 Alibaba
— │ 8 │ —
SSR Beyond Dense Connectivity: Explicit Sparsity for Scalable Recommendation
SSR 通过显式稀疏过滤 + 多视角稠密融合打破稠密 CTR 骨干的 scaling 饱和瓶颈，在 AliExpress 亿级工业场景线上 A/B 取得 CTR +2.1%、GMV +3.5%。
ad-rec industrial feature-interaction parameter-scaling
2026-04-09
LLM ByteDance
8 │ 8 │ —
In-Place TTT In-Place Test-Time Training
提出 In-Place TTT 框架，将 MLP block 的 W_down 作为 fast weights 原地更新，配合 NTP 对齐的目标函数和 chunk-wise 更新，实现预训练 LLM 的 drop-in 长上下文增强
transformer pretrained-lm industrial parameter-scaling test-time-training
2026-04-08
判别式 学术
7 │ 7 │ —
Pay Attention to Sequence Split: Uncovering the Impacts of Sub-Sequence Splitting
系统性审计研究揭示 Sub-Sequence Splitting（SSS）在 2022-2026 年 17 篇 SR 论文中大量未披露地启用，导致新模型提升被错误归因于架构创新；移除 SSS 后 8/10 的 SOTA 模型回退 40% 并输给 2018 年的 SASRec；提供 Single-target+CE+Prefix/Suffix 作为 SR 评测的推荐配置。
academic transformer
2026-04-07
生成式 学术
7 │ 7 │ —
LGCD From Clues to Generation: Language-Guided Conditional Diffusion for Cross-Domain Recommendation
LGCD 用 LLM 为单域用户生成目标域的 pseudo-overlapping 交互，再通过 cross-attention 条件扩散模型 + MoE 融合从源域生成目标域用户偏好表征，解决 inter-domain 跨域推荐中 overlapping users 稀缺的冷启动问题。
diffusion pretrained-lm cold-start transformer academic
2026-04-07
生成式 Meituan
8 │ 8 │ —
NSGR Next-Scale Generative Reranking: A Tree-based Generative Rerank Method at Meituan
NSGR 提出 tree-based 的 next-scale 生成式重排框架，用 log2(m) 步粗到细二分替代逐位自回归或一次性生成，并通过 Multi-Scale Evaluator 与 Multi-Scale Neighbor Loss 解决生成器-评估器目标错位，在美团食品配送线上 A/B 取得 CTR +2.89% / GMV +3.15% 的提升。
industrial transformer semantic-id process-supervision
2026-04-07
生成式 Alibaba
8 │ 8 │ —
STAMP STAMP: Semantic Trimming and Auxiliary Multi-step Prediction for Generative Recommendation
针对 Semantic ID 生成式推荐的训练加速框架：SAP 依据语义显著性与注意力中心性在 Transformer 中层剪枝冗余 token，MAP 通过多步前瞻预测增稠监督信号，在 T5 与 Qwen 双架构上实现 1.23-1.38x 加速与 17-55% VRAM 节省，同时保持甚至提升推荐精度。
semantic-id transformer pretrained-lm industrial process-supervision
2026-04-07
生成式 学术
7 │ 7 │ —
FAVE FAVE: Flow-based Average Velocity Establishment for Sequential Recommendation
FAVE 通过 semantic anchor prior 与 average velocity + JVP 曲率约束，将生成式序列推荐压缩为单步 flow，在三个基准上同时实现精度提升与一个数量级的推理加速。
diffusion academic transformer knowledge-distillation
2026-04-06
生成式 Walmart
7 │ 7 │ —
CRAB CRAB: Codebook Rebalancing for Bias Mitigation in Generative Recommendation
CRAB 通过正则化 K-means 拆分过热门 token 并配合层次语义对齐正则器，在不损失精度的前提下显著降低生成式推荐的流行度偏差。
semantic-id industrial pretrained-lm academic
2026-04-06
判别式 Google
7 │ 6 │ —
RAR_GPT Retrieval Augmented Conversational Recommendation with Reinforcement Learning
提出RAR框架，通过两阶段检索增强（retriever + LLM generator）和在线强化学习偏好优化，对齐检索与生成阶段，在多个对话推荐基准上超越SOTA
rl pretrained-lm academic cold-start
2026-04-06
生成式 Snapchat
7 │ 7 │ —
Semantic IDs for Recommender Systems at Snapchat: Use Cases, Technical Challenges, and Design Choices
Snapchat 大规模部署 Semantic IDs 作为推荐系统的辅助特征和生成式检索目标，提出 STE 优化和多模态 embedding 融合解决 codebook collapse，并通过 intra-bucket 消歧和 depth-优先策略解决 SID-to-Item 解析问题
semantic-id quantization industrial ad-rec
2026-04-05
other Baidu
7 │ 6 │ —
DebiasFirst LLM-based Listwise Reranking under the Effect of Positional Bias
提出DebiasFirst方法，通过逆倾向评分的位置校准和位置感知数据增强，在微调阶段缓解LLM列表式重排序中的位置偏差
search-ranking pretrained-lm academic
2026-04-04
生成式 Tencent
8 │ 7 │ 5
TencentGR Tencent Advertising Algorithm Challenge 2025: All-Modality Generative Recommendation
腾讯广告算法大赛 2025 发布 TencentGR-1M/10M 两个工业级全模态生成式推荐 benchmark：百万到千万级真实脱敏广告用户序列，同时包含曝光/点击/转化信号与多模态 embedding，提供 baseline Transformer 与加权 HitRate/NDCG 评估协议。
ad-rec industrial transformer pretrained-lm
2026-04-04
生成式 Meituan
7 │ 7 │ —
MBGR MBGR: Multi-Business Prediction for Generative Recommendation at Meituan
提出首个面向多业务场景的生成式推荐框架MBGR，通过BID、MBP和LDR三个模块解决跨业务跷跷板效应和表征混淆问题，在美团线上CTCVR提升3.98%
ad-rec industrial moe semantic-id transformer
2026-04-03
生成式 LinkedIn
8 │ 7 │ —
GTI Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation
揭示均值初始化导致新词汇token坍缩至退化子空间，提出GTI在微调前通过语言监督grounding新token，在工业级和公开生成式推荐基准上一致优于均值初始化和LC-Rec
semantic-id pretrained-lm ad-rec industrial
2026-04-02
判别式 Kuaishou
8 │ 7 │ —
UniMixer UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems
提出UniMixer统一架构，通过参数化TokenMixer建立attention、TokenMixer和FM三大推荐Scaling模块的理论联系，并设计轻量UniMixing-Lite模块实现最优Scaling效率
transformer feature-interaction parameter-scaling ad-rec industrial
2026-04-01
生成式 Microsoft
7 │ 7 │ —
DACT Drift-Aware Continual Tokenization for Generative Recommendation
提出 DACT 框架，通过协同漂移识别模块和分层编码重分配策略，在生成式推荐持续学习中平衡 tokenizer 的可塑性与稳定性
semantic-id transformer pretrained-lm contrastive-ssl cold-start
2026-03-31
判别式 Google
6 │ 6 │ —
Zero-shot CDKD Zero-shot Cross-domain Knowledge Distillation: A Case study on YouTube Music
提出零样本跨域知识蒸馏（CDKD）方法，将大规模 YouTube 视频推荐教师模型的知识迁移至低流量的 YouTube Music 学生模型，无需共享训练数据即可显著提升音乐推荐性能
knowledge-distillation cold-start industrial ad-rec
2026-03-30
生成式 Kuaishou
9 │ 9 │ —
OneSearch-V2 OneSearch-V2: The Latent Reasoning Enhanced Self-distillation Generative Search Framework
在 OneSearch 基础上提出思维增强查询理解、推理内化自蒸馏和 TPMA-GRPO 偏好对齐，在快手商城搜索实现 Item CTR +3.98%、订单量 +2.11%，无需额外推理开销
semantic-id knowledge-distillation rl industrial search-ranking
2026-03-25
other 学术
7 │ 7 │ —
SumRank SumRank: Aligning Summarization Models for Long-Document Listwise Reranking
提出 SumRank，通过三阶段训练将轻量摘要模型与下游列表式重排序目标对齐，在 TREC DL 19-23 上实现 SOTA 排序性能并大幅降低延迟
search-ranking pretrained-lm rl academic
2026-03-25
判别式 学术
6 │ 6 │ —
SELLER Sequence-aware Large Language Models for Explainable Recommendation
提出 SELLER 框架，通过双路径序列编码器和 MoE 适配器将用户行为序列信息注入 LLM 以生成序列感知的个性化推荐解释，并设计基于解释增强推荐器的统一评估框架来衡量解释的实际效用
academic transformer moe pretrained-lm
2026-03-25
判别式 Alibaba
8 │ 8 │ —
HHSFT UniScale: Synergistic Entire Space Data and Model Scaling for Search Ranking
提出数据与模型架构协同缩放框架UniScale，通过ES3全空间采样系统扩展高质量训练信号，并设计HHSFT异构层次化融合Transformer有效建模复杂异构分布，在淘宝搜索排序中实现GMV 2.04%提升。
search-ranking transformer moe feature-interaction industrial
2026-03-25
生成式 Google
8 │ 7 │ —
GEM-Rec One Model, Two Markets: Bid-Aware Generative Recommendation
提出 GEM-Rec 框架，通过控制 token 和竞价感知解码机制，将广告变现目标统一集成到基于 Semantic ID 的生成式推荐序列中
ad-rec semantic-id transformer academic
2026-03-23
判别式 学术
8 │ 7 │ —
AgenticRec AgenticRec: End-to-End Tool-Integrated Policy Optimization for Ranking-Oriented Recommender Agents
提出AgenticRec框架，通过List-wise GRPO和渐进式偏好精炼两阶段训练，端到端优化推荐智能体的推理、工具调用和排序列表生成的完整决策轨迹
ad-rec rl pretrained-lm academic
2026-03-23
生成式 学术
7 │ 7 │ —
GenRecEdit Bringing Model Editing to Generative Recommendation in Cold-Start Scenarios
提出GenRecEdit框架，首次将模型编辑技术应用于生成式推荐的冷启动问题，在仅需9.5%重训练时间下显著提升冷启动物品推荐性能
cold-start semantic-id transformer academic
2026-03-15
生成式 Kuaishou
7 │ 7 │ —
RecoGEM Quantized Inference for OneRec-V2
通过分布分析证明 OneRec-V2 的权重和激活统计特性接近 LLM，据此设计 FP8 后训练量化框架并集成推理基础设施优化，在生产环境实现 49% 延迟降低和 92% 吞吐提升，线上 A/B 测试无指标退化
quantization moe industrial transformer ad-rec
2026-03-12
生成式 LinkedIn
8 │ 7 │ —
AttnMVP Beyond Interleaving: Causal Attention Reformulations for Generative Recommender Systems
揭示生成式推荐中交错 item-action token 的注意力机制本质是基于相似度的隐式 pooling，提出 AttnLFA 和 AttnMVP 两种因果注意力架构显式编码 item->action 因果关系，消除交错带来的注意力噪声和计算冗余
transformer ad-rec industrial feature-interaction
2026-03-11
LLM 学术
— │ 8 │ —
How Far Can Unsupervised RLVR Scale LLM Training?
系统证明所有 intrinsic URLVR 奖励本质都在锐化模型先验、必然 rise-then-fall 崩溃，提出 Model Collapse Step 指标并论证 external reward 才能突破置信度-正确性天花板。
rl academic parameter-scaling pretrained-lm
2026-03-09
生成式 学术
8 │ 7 │ —
MLLMRec-R1 MLLMRec-R1: Incentivizing Reasoning Capability in Large Language Models for Multimodal Sequential Recommendation
提出 MLLMRec-R1，通过文本化视觉信号、高质量多模态 CoT 构建和混合粒度数据增强，实现首个面向多模态序列推荐的高效稳定 GRPO 训练框架
pretrained-lm rl process-supervision academic
2026-03-06
生成式 判别式 Tencent
9 │ 8 │ —
OneRanker OneRanker
提出 OneRanker，通过价值感知多任务解耦、粗细协同目标感知和双侧一致性保障，实现生成与排序的架构级深度融合，在微信视频号广告系统全量上线
ad-rec industrial transformer semantic-id knowledge-distillation
2026-03-03
生成式 学术
7 │ 7 │ —
APAO APAO: Adaptive Prefix-Aware Optimization for Generative Recommendation
提出自适应前缀感知优化框架 APAO，通过引入前缀级别的优化目标和自适应最差前缀加权策略，解决生成式推荐中 beam search 解码带来的训练-推理不一致性问题
academic transformer semantic-id pretrained-lm
2026-03-03
判别式 Xiaohongshu
7 │ 7 │ —
IDProxy IDProxy: Cold-Start CTR Prediction for Ads and Recommendation at Xiaohongshu with Multimodal LLMs
提出 IDProxy，利用多模态大语言模型为冷启动物品生成代理 ID embedding，通过两阶段粗到细对齐机制无缝集成到现有 CTR 排序模型中，已部署于小红书内容推荐和展示广告场景
cold-start ad-rec industrial pretrained-lm contrastive-ssl
2026-03-02
生成式 Huawei
8 │ 7 │ —
HPGR Beyond the Flat Sequence: Hierarchical and Preference-Aware Generative Recommendations
提出 HPGR 框架，通过 Session Enhancement Module 建模用户行为层次结构和 Preference-Guided Sparse Attention 实现偏好驱动的稀疏注意力，在两阶段训练范式下显著超越 HSTU 和 MTGR 等生成式推荐基线
transformer industrial ad-rec sparse-attention
2026-03-01
生成式 Kuaishou
8 │ 7 │ —
QuaSID Stop Treating Collisions Equally: Qualification-Aware Semantic ID Learning for Recommendation at Industrial Scale
提出QuaSID框架，通过Hamming引导的边距排斥和冲突感知有效对掩码区分有害碰撞与良性重叠，实现资质感知的语义ID学习
semantic-id contrastive-ssl quantization industrial ad-rec
2026-02-28
生成式 Kuaishou
9 │ 9 │ —
GR4AD Generative Recommendation for Large-Scale Advertising
提出GR4AD，一个面向大规模实时广告场景的生产级生成式推荐系统，通过UA-SID、LazyAR、VSL和RSPO的协同设计，在快手4亿用户广告系统上实现4.2%的广告收入提升
ad-rec industrial semantic-id transformer rl
2026-02-26
判别式 Meta
9 │ 9 │ 9
ULTRA-HSTU Bending the Scaling Law Curve in Large-Scale Recommendation Systems
Meta 提出 ULTRA-HSTU，通过输入序列优化、Semi-Local Attention、动态拓扑设计和混合精度系统优化，实现 5x 训练和 21x 推理 scaling efficiency 提升，部署服务数十亿用户并带来 4%-8% 消费指标增益
transformer industrial parameter-scaling quantization sparse-attention
2026-02-23
判别式 ByteDance
8 │ 8 │ —
MixFormer MixFormer: Co-Scaling Up Dense and Sequence in Industrial Recommenders
提出统一的 Transformer 架构 MixFormer，将序列建模和特征交互融合到单一参数空间中，解决工业推荐系统中密集特征与序列长度的协同扩展问题
ad-rec transformer feature-interaction industrial parameter-scaling
2026-02-15
判别式 ByteDance
8 │ 8 │ —
TokenMixer-Large TokenMixer-Large: Scaling Up Large Ranking Models in Industrial Recommenders
提出TokenMixer-Large架构，通过Mixing-Reverting操作、Inter-layer残差、Sparse-Pertoken MoE等设计系统性解决TokenMixer在深层扩展中的瓶颈，成功将推荐排序模型扩展到150亿参数并在字节跳动多个在线场景取得显著业务收益
transformer moe feature-interaction parameter-scaling industrial
2026-02-06
判别式 ByteDance
8 │ 8 │ —
HyFormer HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction
提出 HyFormer 统一混合 Transformer 架构，通过 Global Tokens + Query Decoding/Boosting 交替机制实现长序列建模与特征交互的紧密集成，在抖音搜索全量部署
transformer feature-interaction industrial ad-rec search-ranking
2026-01-23
LLM Meta
— │ 8 │ —
MobileLLM-Pro MobileLLM-Pro Technical Report
Meta 推出的 1B 端侧基座 LLM，通过四阶段预训练（语言习得 + 隐式位置蒸馏扩窗到 128k + 专家模型合并 + 4-bit QAT）在 11 项预训练 benchmark 上同时超越 Gemma 3-1B 与 Llama 3.2-1B，量化后体积压到 590 MB 仅回退 0.7%。
transformer quantization knowledge-distillation industrial
2025-11-10
判别式 ByteDance
8 │ 9 │ —
STCA Make It Long, Keep It Fast: End-to-End 10k-Sequence Modeling at Billion Scale on Douyin
提出 STCA+RLB+Extrapolation 三位一体方案，将端到端长序列推荐从 500 扩展到 10k，在抖音全流量上线并观测到类 scaling law 增益
transformer industrial parameter-scaling
2025-11-08
判别式 ByteDance
8 │ 8 │ —
OneTrans OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender
提出OneTrans，用统一的因果Transformer骨干网络同时完成用户行为序列建模和特征交互，通过混合参数化、金字塔裁剪和跨请求KV缓存实现高效扩展，在线A/B测试中GMV/u提升5.68%
transformer ad-rec industrial parameter-scaling feature-interaction
2025-10-30
生成式 Kuaishou
9 │ 9 │ —
OneRec-Think OneRec-Think: In-Text Reasoning for Generative Recommendation
提出 OneRec-Think 框架，通过三阶段（Itemic Alignment、Reasoning Activation、Reasoning Enhancement）将显式推理引入生成式推荐，取得公开 benchmark SOTA 及快手 APP 停留时长 +0.159%
ad-rec industrial transformer pretrained-lm rl
2025-10-13
生成式 Alibaba
8 │ 8 │ —
FORGE FORGE: Forming Semantic Identifiers for Generative Retrieval in Industrial Datasets
提出首个工业级语义标识符基准FORGE，包含淘宝140亿交互和2.5亿商品的多模态数据，系统优化SID生成、碰撞缓解与在线收敛策略，并引入无需GR训练的SID质量评估指标
semantic-id ad-rec industrial contrastive-ssl pretrained-lm
2025-09-25
生成式 Kuaishou
8 │ 8 │ —
OneSearch OneSearch: A Preliminary Exploration of the Unified End-to-End Generative Framework for E-commerce Search
提出首个工业部署的端到端生成式电商搜索框架 OneSearch，通过关键词增强层次化量化编码、多视角行为序列注入和偏好感知奖励系统，在快手商城搜索上线后 Item CTR +1.67%、订单量 +3.22%，OPEX 节省 75.40%
search-ranking industrial transformer semantic-id rl
2025-09-03
生成式 Kuaishou
9 │ 9 │ —
OneRec-V2 OneRec-V2 Technical Report
提出 Lazy Decoder-Only 架构将计算集中于目标 item 解码，并引入基于用户真实反馈的 GBPO 强化学习方法，在快手/快手极速版上实现 App Stay Time 分别提升 0.467%/0.741%
ad-rec transformer moe parameter-scaling rl
2025-08-28
判别式 ByteDance
8 │ 8 │ —
RankMixer RankMixer: Scaling Up Ranking Models in Industrial Recommenders
提出硬件感知的推荐排序模型 RankMixer，通过多头 Token Mixing 和逐 Token FFN 替代自注意力机制，在抖音全量部署 1B 参数模型，MFU 从 4.5% 提升至 45%，活跃天数增长 0.3%
transformer moe parameter-scaling industrial feature-interaction
2025-07-21
判别式 ByteDance
6 │ 6 │ —
Next-User Retrieval Next-User Retrieval: Enhancing Cold-Start Recommendations via Generative Next-User Modeling
提出 Next-User Retrieval 框架，利用冷启动物品的历史交互用户序列生成式预测下一个潜在交互用户，在抖音线上 A/B 测试中取得 DAU +0.0142%、发布量 +0.1144% 的显著提升
cold-start transformer contrastive-ssl industrial ad-rec
2025-06-18
生成式 Kuaishou
9 │ 9 │ —
OneRec OneRec Technical Report
提出端到端生成式推荐系统 OneRec，采用 encoder-decoder 架构统一检索与排序，通过 RQ-Kmeans tokenizer、MoE 解码器和 ECPO 强化学习，在快手部署后 App Stay Time 提升 0.54%/1.24%，OPEX 仅为传统系统 10.6%
transformer moe semantic-id rl industrial
2025-06-16
生成式 Kuaishou
7 │ 7 │ —
OneSug OneSug: The Unified End-to-End Generative Framework for E-commerce Query Suggestion
提出首个面向电商搜索查询建议的端到端生成式框架OneSug，通过prefix2query表示增强、统一编码器-解码器架构和奖励加权排序策略，替代传统多阶段级联架构，在快手电商搜索引擎全量部署并取得显著业务提升
search-ranking semantic-id rl transformer industrial
2025-06-07
判别式 Meituan
8 │ 8 │ —
MTGR MTGR: Industrial-Scale Generative Recommendation Framework in Meituan
提出 MTGR 框架，结合 DLRM 的交叉特征与 GRM 的 Transformer 可扩展性，通过用户聚合、GLN 和动态掩码实现工业级排序模型的高效扩展
transformer industrial ad-rec feature-interaction parameter-scaling
2025-05-24
other Kuaishou
7 │ 7 │ —
GAVE Generative Auto-Bidding with Value-Guided Explorations
提出 GAVE 框架，通过 score-based RTG、基于 RTG 评估的动作探索和可学习价值函数三大创新，增强 Decision Transformer 的离线广告自动竞价能力，NeurIPS 2024 竞赛第一名并在快手线上部署
ad-rec rl transformer industrial
2025-04-20
判别式 ByteDance
8 │ 8 │ —
HLLM HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling
提出层次化大语言模型架构HLLM，用两个独立LLM分别建模物品特征提取和用户兴趣序列，在多个大规模数据集上显著超越传统ID-based和文本-based推荐方法
transformer pretrained-lm parameter-scaling industrial ad-rec
2024-09-19
生成式 判别式 Meta
10 │ 10 │ —
HSTU Actions Speak Louder than Words
提出 Generative Recommenders (GRs) 范式和 HSTU 架构，将推荐系统重新建模为序列转换任务，在工业规模下显著超越传统 DLRM，并展示推荐系统中的 scaling law
transformer industrial ad-rec parameter-scaling
2024-02-27
判别式 Google
7 │ 7 │ —
HiFormer Hiformer: Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems
提出异构注意力层和Composite投影机制，使Transformer架构能感知特征语义差异，首次在工业级推荐系统中超越SOTA特征交互模型
transformer feature-interaction industrial ad-rec
2023-11-10
判别式 Kuaishou
8 │ 7 │ —
MEDA KuaiShou MultiEpoch
提出 MEDA：每个 epoch 开始时重置 embedding 层，在保留稀疏度的同时阻断 embedding 过拟合，使工业 CTR 模型首次得以多轮训练并在 Kuaishou 取得 +4.6% 收入提升、训练数据需求减半。
ad-rec industrial
2023-05-31
生成式 Google
9 │ 9 │ —
TIGER TIGER: Towards Generating Semantic IDs with Transformer for Scalable and Transferable Recommendation
提出TIGER框架，首次将生成式检索范式引入推荐系统，通过RQ-VAE为物品生成层次化Semantic ID并用Transformer自回归预测，在多个数据集上显著超越SOTA
semantic-id transformer pretrained-lm cold-start academic
2023-05-08
判别式 Google
9 │ 9 │ —
DCNv2 DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems
将 DCN 的秩1权重矩阵升级为全秩矩阵并引入低秩混合专家机制，在保持简洁公式的同时大幅提升特征交叉表达力，已在 Google 多个大规模排序系统部署
feature-interaction industrial moe ad-rec
2020-08-31
判别式 学术
— │ 10 │ —
SASRec Self-Attentive Sequential Recommendation
首次将纯self-attention架构引入序列推荐，自适应关注历史行为中的相关物品，在稀疏和稠密数据集上均超越MC/CNN/RNN方法，且训练效率提升一个数量级
transformer academic
2018-08-29
other Google
10 │ 10 │ —
Transformer Attention Is All You Need
提出完全基于注意力机制的Transformer架构，摒弃循环和卷积，在机器翻译任务上以更低训练成本达到SOTA
transformer academic
2017-06-12