2026-09-17 日报
主题: 增量叠加式改造:真正的杠杆常不在署名机制
标签: industrial · transformer · recursive-depth · parameter-scaling · inference-serving
📊 统计: 共 6 篇 · 精读 3 · 🏢 工业界 3 · 🎓 学术 3 · generative-rec 3 · discriminative-rec 2 · llm 2
综述
本期 6 篇:生成式推荐 3、判别式 2、LLM 2(有交叉),工业 2 篇,精读 3 篇。腾讯 ANGLE 用意图×摘要文本标识做搜索广告召回,作补充通道上线,消耗 +1.81%,但无 SID 对照,优势多来自约束解码。Meta LIGE-GR 在排序栈上叠因果注意力与束搜索、可回退,Reels 时长 +1.14%,加宽束仅 +0.05%,改目标才见效。Q Labs 的 Untied-Grow 单轴对照显示中途生长与边界算子改指数、权重共享只改常数,但指数差与换优化器同量级。横向看,坐实的杠杆是约束、目标与深度利用,署名卖点常无对照或近乎无效;叠加式改造易上线易回退,记功却须单轴对照。
重点论文
Untied-Grow · ⭐ 7/10
How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents
🏢 Q Labs · LLM
为 8 种 prelude–core–coda 变体逐架构拟合算力最优配方并在 FineWeb 上训练 1e18–1e20 FLOPs 阶梯,发现训练中途把 core pass 从 2 翻到 4 的模型生长(解绑 Untied-Grow 指数 0.111→0.117、1e20 处 1.55× 算力倍数;绑定 Loop-Grow 1.36×)与在 coda 前也做『归一化 + 注入 prelude 输出』的边界算子(1.25×)让 compute multiplier 随规模上升、而解绑权重只改常数,7.4B Untied-Grow 留出外推落在预测线上并以约 1/19 算力在 CORE 上追平 GPT-3 13B(非受控比较),多 epoch 下最优循环次数随算力增长且扩循环比扩尺寸省 2.2× 算力;但指数差仅 0.003–0.006、共享 Vanilla 的不可约损失、单种子,与换优化器或换配方引起的指数变化同量级。
LIGE-GR · ⭐ 6/10
LIGE-GR: A Smooth Leap from Ranking to Generative Recommendation in the LLM Era
🏢 Meta · 生成式推荐 / 判别式推荐
Meta 的 LIGE-GR 不替换现有 pointwise 排序栈,而是在 CF 排序模型的缓存候选表示上加 4 头 4 层因果 Transformer,做前缀条件的多任务重预测,再用续看生存概率加权的 listwise VM 和带闭式时长感知未来价值估计的 beam 解码器(Palette)逐位构造列表;三处改动都可配置回退到原贪心系统。线上 IG Reels / FB Video 时长 +1.14% / +0.72%,但头条收益来自 b=1 前缀条件贪心,训练仍是逐物品监督,加宽 beam 对时长几乎没有贡献(+0.05%,不显著),也没有同容量去上下文对照和公开基线。
ANGLE · ⭐ 5/10
🏢 Tencent · 生成式推荐
ANGLE 是腾讯搜索广告的一步式 LLM 生成召回:离线用 Hunyuan-13B 为每条广告生成「商业意图(约 70 万类目内约束生成)× 广告摘要(品牌/核心服务)」两级文本标识并建倒排索引,在线用 Hunyuan-1B 的 GDR-LLM(生成交叉熵 + [CLS] 点击判别头 + 按消耗排序的 DPO)在按用户可投放广告动态重建的约束树上 beam 64 解码,取回广告跳过相关性与粗排直送精排,作为补充通道上线 WTS/QBS(消耗 +1.81%/+6.57%);但全文没有任何 SID 对照,消融显示对 110M BERT 等基线的优势几乎全部来自约束解码(去掉后 HR@100、MAP、ACR 跌破基线),线上曝光涨幅大于消耗与点击说明收益来自增量供给,实时性只有预算口径而无测量。
全部论文
| 模型 | 标题 | 类别 | 公司 | 摘要分 | 精读分 |
|---|---|---|---|---|---|
| Untied-Grow | How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents | LLM | 🏢 Q Labs | 7 | 7 |
| LIGE-GR | LIGE-GR: A Smooth Leap from Ranking to Generative Recommendation in the LLM Era | 生成式 / 判别式 | 🏢 Meta | 8 | 6 |
| ANGLE | One-Step Retrieval Framework for Real-Time Sponsored Search Ads Using Hierarchical Text Representations | 生成式 | 🏢 Tencent | 8 | 5 |
| SURF | SURF: Subtractive Updates for Recommender Forgetting | 判别式 | 🎓 学术 | 5 | — |
| Re2A | Re2A: Situated Conversational Recommendation via Rubric-based Preference Reasoning and Alignment | 生成式 | 🎓 学术 | 5 | — |
| Infinite-Parameter LLM | Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data | LLM | 🎓 学术 | 4 | — |