2026-06-04 日报

主题: 大模型语义表征与行为基础模型 scaling 重塑工业推荐

标签: pretrained-lm · semantic-id · parameter-scaling · industrial

📊 统计: 共 11 篇 · 精读 3 · 🏢 工业界 2 · 🎓 学术 9 · generative-rec 1 · discriminative-rec 3 · other 3 · llm 4

综述

今日共收录 11 篇,类别分布为生成式推荐 2、判别式推荐 3、LLM 4、其他 2,其中 2 篇工业论文经过精读,整体呈工业重磅与学术探索并行之势。快手 RGCD-Rep 把冻结大教师 MLLM 的结构化跨域推理蒸馏进轻量学生模型,经“可迁移残差”查询感知聚合与行为/语义双信号路由,学出可离线落库的短视频→直播跨域表征,已全量服务 4 亿+日活;阿里 DSIRM 把语义 ID 从生成式检索目标重新定位为电商排序的离散相关性特征,用 query 桥接对比 RQ-VAE(类目感知首层码本)学相关性感知 item SID 并微调 Qwen 生成 query SID,天猫离线 AUC +1.54%、线上 UCTR/UCTCVR 双升。Gabrielsson 在约 600 次实验、10^15–10^19 FLOPs 上给出“行为基础模型”的 scaling law,发现嵌入器仅需约 2%参数即计算最优,且评测指标本身会改变最优配方。整体看,大模型语义与推理表征正从离线特征走向可落库的工业组件,基础模型 scaling 与语义 ID 成为贯通学术与工业的两条主线。

重点论文

RGCD-Rep · ⭐ 8/10

Bridging Short Videos and Live Streams: Reasoning-Guided Multimodal LLMs for Cross-Domain Representation Learning

🏢 Kuaishou · 生成式推荐

快手 RGCD-Rep 用冻结大教师 MLLM 生成结构化跨域推理并蒸馏进轻量学生 MLLM,经 transferable-residual 查询感知聚合 + 行为/语义双信号路由学出可离线落库的短视频→直播跨域可迁移表征,全量部署服务 4 亿+ 日活。

Scaling Laws for Behavioral Foundation Models over User Event Sequences · ⭐ 8/10

🎓 学术 · 其他

用约600次iso-FLOP训练(10^15-10^19 FLOPs)系统标定行为基础模型(特征事件嵌入器+decoder-only Transformer预测下一事件)的scaling law:计算最优嵌入器仅约2%参数、行为模型低算力下数据偏多(D/N约340)并随算力向Chinchilla收窄(到36)、且评测指标本身是scaling law的一部分——sampled-softmax训练loss不是full-catalogue排序质量的可靠代理,换指标会改变计算最优配方。

DSIRM · ⭐ 7/10

DSIRM: Learning Query-Bridged Discrete Semantic Identifiers for E-commerce Relevance Modeling

🏢 Alibaba · 判别式推荐

DSIRM 把语义 ID 从生成式检索目标重新定位为电商排序的离散相关性特征——用 query 桥接对比 RQ-VAE（类目感知首层码本）学相关性感知的 item SID、微调 Qwen 生成 query SID，二者层级前缀匹配分增强排序 DNN，天猫离线 AUC +1.54%、线上 UCTR/UCTCVR +0.13%/+0.25%。

全部论文