2026-06-19 日报

主题: 大模型表征的结构化与冗余精简

标签: semantic-id · knowledge-distillation · transformer · industrial · pretrained-lm

📊 统计: 共 3 篇 · 精读 1 · 🏢 工业界 1 · 🎓 学术 2 · generative-rec 1 · llm 2

综述

当日共 3 篇,1 篇精读、2 篇速读;类别上生成式推荐 1 篇、LLM 2 篇,工业界仅 Meta 1 篇,其余为学术。重点是 G2Rec(Meta):消去 user 节点构造稀疏 item 共参与图,谱稀疏化把边压到 O(M log M),在图上做可微软模块度聚类得到每个 item 的兴趣原型软成员,再把连续兴趣画像 token 与 item 嵌入交替成序列喂 Llama2-13B 自回归推荐器,已在 Meta 多场景上线,是当日唯一工业级落地。MAA 提出边际优势累积,用 EMA 累积每个记忆操作的有符号证据并做语义身份合并,区分稳定有效操作与偶然命中,在 16 个设置中 14 个最佳、优化阶段 token 消耗降约 75%。VLA 压缩工作揭示 pi_0、GR00T-N1.5 等基础策略存在层间表征冗余,用单次前向加 CKA 识别并删除孪生层,深度压缩最多 50%、推理提速最多 30% 而性能不降。整体趋势是把大模型表征结构化(图聚类得兴趣原型)与冗余精简(层删除、记忆蒸馏)结合,在推荐、机器人、agent 记忆三类系统上以更少参数算力维持效果;Llama 主干加兴趣 token 化仍是生成式推荐主路线,值得持续关注。

重点论文

G2Rec · ⭐ 8/10

Structuring and Tokenizing Distributed User Interest Context for Generative Recommendation

🏢 Meta · 生成式推荐

提出 G2Rec:消去 user 节点构造稀疏 item 共参与图(O(M log M) 边,谱稀疏化有保证),在图上做可微软模块度聚类得到每个 item 的兴趣原型软成员,把连续兴趣画像 token 与 item 嵌入交替成序列喂 Llama2-13B 自回归推荐器,在 Meta 多场景上线。

MAA · ⭐ 4/10

Marginal Advantage Accumulation for Memory-Driven Agent Self-Evolution

🎓 学术 · LLM

提出 Marginal Advantage Accumulation(MAA),一种批量轨迹蒸馏的后处理架构,通过构造差分信号使跨批次可比、用 EMA 累积每个记忆操作的有符号证据并做语义身份合并,从而区分稳定有效操作与偶然命中。在 4 个 benchmark、4 个目标模型的 16 个设置中 14 个取得最佳,优化阶段 token 消耗降低约 75%。

Finetuning Vision-Language-Action Models Requires Fewer Layers Than You Think · ⭐ 4/10

🎓 学术 · LLM

揭示 VLA 基础模型(如 pi_0、GR00T-N1.5)存在严重的层间表示冗余,提出一种完全免训练的结构压缩流程,仅用单次前向经 CKA 识别冗余层并删除“孪生层”,将模型深度压缩最多 50%,在多个仿真与真实机器人任务上保持甚至超过原模型性能,训练时间降低 40-50%、推理加速最多 30%。

全部论文