2026-07-17 日报
主题: LLM 重排在真实房产平台的轻装落地
标签: search-ranking · pretrained-lm · industrial · academic
📊 统计: 共 3 篇 · 精读 1 · 🏢 工业界 1 · 🎓 学术 2 · llm 1 · other 2
综述
今日清淡,共 3 篇入选(1 精读 + 2 简评),其中工业界 1 篇、学术方法学 2 篇。精读的 QuintoAndar「LLM-Based Re-Ranking for Real Estate Search」是当日主线:拉美房产平台在其对话式助手 Concierge 里引入 zero-training、纯 prompt 的 point-wise LLM 重排器,只动重排、不碰召回栈,把自然语言用户画像、结构化过滤器、房源元数据与候选集聚合统计量拼进 prompt 对候选独立打 affinity 分;配套用 LLM-as-a-Judge 构建 96 万对离线评测集来验证 prompt 设计,线上 A/B 取得 +5.3% CTR 与 +4.8% 预约看房。它的价值不在模型新意,而在把「prompt 设计 + as-Judge 离线集 + 线上收益 + 工程踩坑」这条落地链路讲全,是低改造成本引入 LLM 重排的实用样本。另两篇为方法学补充:CoSimRec 提出离线智能体评测框架与「算法渗透率」(APR)指标族,在闭环反馈中量化协同内容对推荐曝光的渗透,发现流行度/反馈敏感排序会显著放大;Jeunen 的 A/B 加速工作则利用处理组与对照组的「策略重叠」,以 Δ-离策略估计给出方差随策略散度而非原始结果方差缩放的无偏 ATE,在有公共支撑时严格优于 Difference-in-Means。趋势上,工业侧「轻装 LLM 重排 + as-Judge 离线闭环」与学术侧「更省样本的 A/B 评估与反馈环健康度量」并行推进,值得持续关注。
重点论文
LLM-Based Re-Ranking for Real Estate Search · ⭐ 6/10
🏢 QuintoAndar · LLM
QuintoAndar 在其对话式房产助手 Concierge 中引入 zero-training、prompt-only 的 point-wise LLM 重排器——用自然语言用户画像 + 结构化过滤器 + 房源元数据 + 候选集聚合统计量对召回候选独立打 affinity 分,只改重排不动召回栈,配套用 LLM-as-a-Judge 构建 96 万对离线评测集,线上 A/B 取得 +5.3% CTR / +4.8% 预约看房。
全部论文
| 模型 | 标题 | 类别 | 公司 | 摘要分 | 精读分 |
|---|---|---|---|---|---|
| — | LLM-Based Re-Ranking for Real Estate Search | LLM | 🏢 QuintoAndar | 7 | 6 |
| — | Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap | 其他 | 🎓 学术 | 5 | — |
| — | CoSimRec: Measuring Coordinated-Content Penetration in Recommender Feedback Loops | 其他 | 🎓 学术 | 5 | — |