2026-05-29 日报

主题: 工业推荐与搜索排序的参数缩放及高效落地

标签: parameter-scaling · industrial · knowledge-distillation · search-ranking

📊 统计: 共 4 篇 · 精读 2 · 🏢 工业界 1 · 🎓 学术 3 · discriminative-rec 2 · llm 2

综述

当日共 4 篇论文，判别式推荐与 LLM 推荐各 2 篇；工业界（ByteDance、Coupang）2 篇均经精读，学术 2 篇仅略读。重点上，ByteDance 的 Rec-Distill 把蒸馏收益分解为“教师 scaling 收益 × 可迁移性 η”，以解耦双塔学生、黑盒 CE 蒸馏、学生侧去偏与批流混合流水线，将 24B 参数 / 20K 序列教师的缩放收益迁移给轻量部署学生，峰值可迁移性 >60%，多场景在线 A/B 取得 GMV、时长等显著提升。Coupang 的搜索 CVR 缩放研究把缩放拆成 backbone / embedding / data 三维，实测各自呈 log-linear 且收益基本独立可加，并以解耦 CPU-GPU 执行加动态批处理，用 8x 推理算力换来线上转化率 +2.6% 且延迟近乎不变。学术侧 ACE 用线性自编码器重塑 LLM 生成的 item embedding 分布，缓解各向异性同时保语义，序列推荐 Recall@20 / NDCG@20 提升超 10%。整体看，工业主线正从“能否 scale”转向“如何在算力约束下把 scaling 收益落地”，缩放维度解耦与蒸馏成为关键路径；LLM 增强推荐则聚焦 embedding 几何与多模态融合质量。

重点论文

Rec-Distill · ⭐ 8/10

Rec-Distill: An Industrial Distillation Pipeline for Large-Scale Recommendation Models

🏢 ByteDance · 判别式推荐

ByteDance 提出 Rec-Distill：把蒸馏收益分解为「教师 scaling 收益 × 可迁移性 η」，用解耦双塔学生 + 黑盒 CE 蒸馏 + 学生侧重校正去偏 + 批流混合流水线，把 24B 稠密参数/20K 序列教师的 scaling 收益迁移给轻量部署学生，峰值可迁移性 >60%，多场景在线 A/B 取得 GMV/时长等显著提升。

On the Practice of Scaling Search Conversion Rate Prediction · ⭐ 7/10

🎓 学术 · 判别式推荐

Coupang 关于工业搜索 CVR 预测缩放的经验研究：把缩放拆成 backbone/embedding/data 三维并实测各自的 log-linear 规律，证明三者收益 largely 独立可加,从而'小数据搜架构、全量训部署';配合 warmstart 重训与解耦 CPU-GPU 执行+动态批处理,最终以 8x 推理算力换来线上搜索转化率 +2.6% 且延迟近乎不变。

ACE · ⭐ 6/10

ACE: Anisotropy-Controllable Embedding for LLM-enhanced Sequential Recommendation

🎓 学术 · LLM

针对 LLM-as-Extractor 范式中 LLM 生成 item embedding 的强各向异性问题，提出 ACE 用线性自编码器重塑 embedding 分布：L2 正则缓解维度集中（各向异性），重构损失保留语义结构，平衡几何均匀性与语义保持。在 LLM 增强序列推荐上 Recall@20/NDCG@20 最高提升 12.4%/11.8%。

全部论文