2026-05-18 日报

主题: 全学术小日子：量化理论、泛化机制与智能体扩展律

标签: quantization · agent · parameter-scaling · academic

📊 统计: 共 6 篇 · 精读 0 · 🏢 工业界 0 · 🎓 学术 6 · discriminative-rec 1 · other 2 · llm 3

综述

当日入选 6 篇，LLM 3 篇、其他 2 篇、判别式推荐 1 篇；全部为无公司署名的学术工作，既无线上部署也无精读，偏理论与机制分析。GenLI 针对 CTR 长期兴趣建模中两阶段检索的缺陷，直接生成多个与目标无关的实时兴趣分布，并把加权检索退化为一次查表。PrismQuant 为高斯混合源重建了构造性的率失真理论，指出混合结构只额外带来一个分量标签的代价，并据此用分量匹配的变换加标量量化给出实用方案。另一篇把注意力形式化为任务依赖图上的隐式贝叶斯后验，将延迟泛化解释为延迟的结构推断。NCCE 把上下文工程重构成推荐问题，用协同过滤在推理时为每个实例路由上下文；另一篇把智能体技能库当作可扩展对象，给出路由准确率随库规模对数衰减、联合路由近似乘性两条耦合定律。推荐与智能体的方法正在双向借用，理论刻画的比重明显上升。

重点论文

GenLI · ⭐ 7/10

Generative Long-term User Interest Modeling for Click-Through Rate Prediction

🎓 学术 · 判别式推荐

针对 CTR 长期兴趣建模中两阶段 GSU-ESU 框架的两个缺陷——目标中心的检索会丢掉其他潜在兴趣、逐条行为配对打分随序列增长而变慢且忽略行为间交互——论文提出生成式长期兴趣模型 GenLI。兴趣生成模块直接生成多个目标无关的实时兴趣分布以保证兴趣的完整与多样，行为检索模块把加权检索退化成一次查表、复杂度降到 O(1)，兴趣融合模块再用门控生成最终兴趣特征，从而在精度与效率之间取得更好平衡。

PrismQuant · ⭐ 6/10

PrismQuant: Rate-Distortion-Optimal Vector Quantization for Gaussian-Mixture Sources

🎓 学术 · 其他

经典变换编码对高斯源在 MSE 下是率失真最优的（KLT 去相关 + 反注水分配比特 + 标量量化），但多模态源没有单一协方差可刻画、率失真函数也失去闭式。论文用高斯混合源重建了构造性的率失真理论，核心结论是混合结构只额外带来一个分量标签代价，且 genie-aided 条件 RD 函数由所有分量与特征模共享的同一个全局反注水水位统治；据此提出 PrismQuant——无损传输分量标签、再用分量匹配的 KLT 加标量量化编码残差，达到逆定理的 H(C)/n 比特每维且渐近间隙消失，并用 EM 学混合、分量自适应 KLT 与熵约束标量量化做出实用版本，在合成数据上逼近理论界、在真实信道状态信息数据上以小一个数量级以上的模型规模持平或超过基于 Transformer 的学习式编解码器。

Grokking as Structural Inference: Transformers Need Bayesian Lottery Tickets · ⭐ 6/10

🎓 学术 · LLM

论文把注意力形式化成任务依赖图上的隐式贝叶斯后验，证明 Transformer 的泛化需要两个可分离条件：一是与范数理论吻合的 MLP 容量 Goldilocks 界，二是要求注意力对每个信息 token 分配足够质量的贝叶斯结构条件——若注意力丢弃了信息 token，任何有界的下游计算都无法恢复它。由此把延迟泛化解释为延迟的结构推断：训练早期 MLP 用未对齐特征记忆并把交叉熵压到近零，反而饿死了注意力的结构梯度，必须等权重衰减侵蚀记忆后依赖图才可学，这给出已知的权重衰减反比延迟；论文进一步证明该 explaining-away 延迟可被基于 KL 的结构干预绕过，并在算法序列任务上验证这种“贝叶斯彩票”不逊于甚至优于彩票假设式迁移。

NCCE · ⭐ 6/10

Contexting as Recommendation: Evolutionary Collaborative Filtering for Context Engineering

🎓 学术 · LLM

论文指出现有自动上下文工程都在找一条最大化数据集平均表现的全局上下文策略，忽略了不同输入需要不同引导，从而浪费了实例级收益，于是把上下文工程重构成推荐问题。NCCE 先自举出一批多样的锚点上下文，再用 Context-CF 协同进化机制建立反馈环：轻量 NCF 模型学习“实例-上下文”偏好并指导生成专门化的上下文变体，新评测的上下文又反过来精化 NCF 的潜在偏好表示；推理时训练好的 NCF 充当上下文路由器，为每个未见实例动态分配最合适的上下文策略。

The Scaling Laws of Skills in LLM Agent Systems · ⭐ 6/10

🎓 学术 · LLM

论文把 agent 技能库当作可 scaling 的对象，识别出两条耦合定律：单步路由准确率随技能库规模对数衰减（各模型 R²>0.97），错误从局部技能竞争演化为跨族漂移直至被过泛化的“黑洞技能”捕获；而联合路由在状态实现前近似乘性，正确执行可把下游困难决策的成功率提升约 4 倍。两条定律由路由对数衰减斜率 b 这一个参数耦合，路由侧拟合能预测执行侧的救援效应；据此做的库优化把留出集路由准确率从 71.3% 提到 91.7%、劫持率从 22.4% 降到 4.1%，并在 ClawBench/ClawMark 上分别把平均通过率从 49.3% 提到 61.6%、28.4% 提到 34.5%。

全部论文