核心成果(线上全量部署)
RankUp 已在腾讯微信(视频号、公众号、朋友圈)的 pCVR 模型中全量部署,服务 100% 线上流量。论文估计带来的提升对应每年数亿美元的营收增长。
摘要 Abstract
推荐系统的 Scaling Laws 已被反复验证——基于 MetaFormer 的架构持续受益于增加模型深度、隐藏维度与用户行为序列长度。然而,表示能力(representation capacity)是否随参数增长成比例提升,仍未被探索。
此前对 RankMixer 的研究揭示:token 表示的有效秩(effective rank)在各层间呈现"阻尼振荡"轨迹——不随深度持续增长,在更深层甚至退化。受此启发,本文提出 RankUp:一种通过对稀疏特征做随机排列拆分、多嵌入范式、全局 token 整合、交叉预训练嵌入 token 来缓解表示坍缩、增强表达能力的架构。
RankUp 已在微信视频号、公众号、朋友圈大规模生产环境中全量部署,GMV 分别提升 3.41%、4.81%、2.12%。
问题:为什么参数变大≠表示变好
表示坍缩 / 维度坍缩(Representation Collapse)
现有方法大多假设"模型越大表示越好",却忽视了内在的结构性约束。仅靠 scaling 常出现收益递减,额外参数对有效容量贡献甚微,甚至在深层加剧表示坍缩——学到的表示集中在低维子空间,降低模型区分用户与物品的能力。
- 有效秩阻尼振荡:随深度增加,token 表示的有效秩不单调增长,初期扩张后停滞甚至在深层下降。
- 理论根因:Token Mixer 只能提供有界的秩扩张,而 FFN 沿通道维度表现出秩收缩(rank-contractive)行为,二者共同阻止了表示多样性随深度持续增长。
- 工业数据加剧:极端稀疏 + 幂律分布,长尾物品嵌入更新不足,头部物品主导嵌入空间。
核心洞察
与其设计更复杂的 token mixing(它们只在已受限的表示空间内增强特征交互),不如直接提升潜在空间的表达多样性——这能直接增加表示本身的容量,让模型在各层都保留更丰富、更可区分的 token 表示。
关键度量:有效秩 Effective Rank
对每层隐藏表示矩阵 Hl ∈ ℝT×D,用奇异值分解(SVD)得到奇异值 σ₁…σₖ(k=min(T,D))。有效秩定义为归一化奇异值分布的香农熵的指数:
取值范围 1 ~ k。接近 1 → 表示坍缩到单一主导维度;接近 k → 信息均匀分布于所有正交维度。MetaFormer 骨干由 L 个堆叠层组成,每层含 Token Mixer + Per-token FFN(残差连接):
hl,i = FFN(LN(h′l,i)) + h′l,i , i = 1…T
RankUp 方法:五大机制
随机排列拆分
用随机置换算子 σ 打乱稀疏特征索引,把高度相关的特征分散到不同 token,而非按预定义语义分组。降低 token 间相关性与共线性,扩展初始表示矩阵 H₀ 的几何基,鼓励学习高秩潜在流形。
多嵌入表示范式
不再用单一嵌入表,而是用 K 个独立嵌入表 ψ₁…ψ_K 表示特征。同一类别信号从多个几何视角被表示,提升 H₀ 的多样性,缓解单嵌入系统的早期瓶颈,更好捕捉稀疏场景下的稀有信号。
全局 Token 整合
引入一个全局 token g,通过聚合函数 A(可为 MLP、FM、DCNv2)从所有特征 f₁…f_M 汇聚信息:g = func(Pool({Embed(f_i)}))。提供全局上下文,稳定深层动态。
交叉整合预训练嵌入
双塔检索学到的用户/物品嵌入偏全局相似度。用逐元素乘计算交互:ecross = Proj(zue ⊙ zie),作为软特征级交互注入 token 序列,补充下游稀疏特征交互的先验。
任务专属 Token 解耦
多目标训练下,异质信号在统一潜在空间竞争,主导任务会把表示空间压向任务专属方向,降低整体表达力。RankUp 引入 K 个可学习任务 token {xtask(k)},与共享 token 联合处理但保持任务专属表示,直接送入对应任务塔:y(k) = Tower(k)(xtask(k), Pool(H′L))。减少异质学习信号间的干扰。
整体框架(Figure 1):输入特征 → 嵌入层(全局/分组/子集 + 稠密 + 序列编码器)→ 堆叠 Block(Token Mixing + Per-token FFN/SwiGLU,PreNorm)→ 多任务塔。采用 Pre-LayerNorm 稳定深层梯度,SwiGLU 增强复杂特征交互建模。
实验:离线消融(Realtime AUC 提升)
| 组件 / 变体 | Order | Book | Add Service |
|---|---|---|---|
| Randomized Permutation Split | +0.06% | +0.06% | +0.08% |
| w/ Global Token + Multi-Emb | +0.21% | +0.18% | +0.13% |
| w/ Cross Embedding | +0.22% | +0.10% | +0.03% |
| w/ Task Token | +0.09% | +0.02% | +0.02% |
| RankUp(完整) | +0.41% | +0.23% | +0.25% |
数据集:微信视频号广告真实工业数据,2000 万日样本、1200+ 稀疏特征,时间跨度 2024.07–2026.03,聚合 32 个线上优化目标的 CVR 预测任务。基线为 RankMixer(SOTA MetaFormer 架构)。
实验分析:各机制如何影响有效秩
① Token 独立性(互信息 MI)
用 k-means 把嵌入聚成 K 个簇,计算 token 间成对互信息矩阵,定义差异矩阵 ΔM = MRandomized − MSemantic。负值表示随机分配降低了 token 间冗余。在 K=48 与 K=64 下结果一致:稀疏 token(0–31)在随机策略下 MI 始终更低,跨组冗余也显著降低。
② 有效秩对比(Figure 3)
随机拆分下,全部 32 个稀疏 token 的有效秩始终更高且更均匀。语义分组中聚合长尾特征的 token(如 Token 12、29、31 低于 20)出现秩坍缩;随机策略把长尾特征分散到不同 token,缓解了长尾集中导致的秩坍缩。
③ 有效秩动态(Figure 4):各组件分工明确
- 多嵌入范式:主要改善早期表示多样性,防止早期压缩,促进更各向同性的潜在空间。
- 全局 Token:稳定深层动态,缓解子集变体中观察到的有效秩随深度退化(如 40→38)。
- 交叉预训练嵌入:主要贡献在初始阶段,移除它会导致 Block 0 有效秩急剧下降——外部语义先验对形成丰富的初始化空间至关重要。
- 随机排列拆分 + 交叉嵌入交互:进一步降低特征相关性、强化跨特征交互,使秩在各层间更平滑传播。
④ 任务 Token 效果(Figure 5)
用表示与下游标签 Y∈{0,1} 的互信息 I(Z;Y) 衡量对齐度。带任务 token 的 RankUp 在 book 与 order 任务上 MI 始终更高,且聚类粒度越细(8→64 簇),MI 差距越大——说明任务 token 不仅提升粗粒度任务感知,也提升对细微任务结构的捕捉能力。
线上部署与 A/B 测试
在 20% 生产流量上进行大规模 A/B 测试,覆盖微信视频号、公众号、朋友圈三大场景,每个实验持续 14 天,所有提升均统计显著。报告 Realtime AUC、CTCVR、GMV。
| 场景 | Δ AUC | CTCVR | GMV |
|---|---|---|---|
| 微信视频号 Weixin Video Accounts | +0.367% | +1.41% | +3.41% |
| 微信公众号 Weixin Official Accounts | +0.331% | +0.21% | +4.81% |
| 微信朋友圈 Weixin Moments | +0.269% | +0.87% | +2.12% |
| 场景 | GMV |
|---|---|
| 微信视频号 | +5.83% |
| 微信公众号 | +9.67% |
| 微信朋友圈 | +2.84% |
公众号新广告首日 GMV 提升 9.67%,显著改善新广告在极端数据稀疏冷启动阶段的可发现性。
| 场景 | GMV |
|---|---|
| 微信视频号 | 5.18% |
| 微信公众号 | 7.18% |
| 微信朋友圈 | 4.79% |
Order Task 是转化质量的主优化目标,公众号 GMV 提升 7.18%。
部署细节
放大一个数量级
(硬件效率提升)
满足实时服务约束
- 所有变体均从零训练,不从历史 checkpoint 初始化;训练数据为 18 个月真实生产流量的用户–广告交互日志。
- 部署于视频号、公众号、朋友圈三大高流量场景,每个模型为联合优化 32 个预测任务的多任务预测器。
- 输入层覆盖 1000+ 特征字段:领域类别特征 + 序列行为 token + 多个预训练语义嵌入。
- 采用 2 层 MetaFormer 骨干;尽管计算复杂度增加,系统仍在严格工业延迟约束内,完全兼容实时服务。
相关工作 & 结论
相关工作脉络
推荐中的稠密 Scaling Laws:AutoInt(多头自注意力建模高阶交互)→ Hiformer(异质注意力)→ Wukong(首次证明稠密组件清晰 scaling law)→ InterFormer(双向信息流)→ RankMixer(硬件感知,MFU 从 4.5%→45%,支持 100× 参数扩展)→ MixFormer(统一序列与稠密建模)。
表示坍缩:在自监督/对比学习中被广泛研究,源于 alignment 与 uniformity 失衡;LLM 中也发现注意力输出有效秩随层波动,MLP 与残差连接对防坍缩起关键作用。
结论
本文从表示容量视角重审现代推荐架构的 scaling 行为,指出参数增长不必然带来表达力的成比例增益——深层架构常受表示坍缩、有效秩提升受限之困。
RankUp 通过随机排列拆分、多嵌入表示、全局 token 整合、交叉预训练嵌入 token、任务专属 token 解耦,持续提升有效秩与推荐性能,并已在腾讯多个广告场景全量部署,带来显著 GMV 收益。核心启示:推荐模型的 scaling 不应只强调参数增长,更要强调表示空间的有效利用。