isSeymour

参考 热点（二）冷启动问题 1、内容冷启动 在推荐系统的发展历程中，内容冷启动一直是一个核心挑战。新上线的物品由于缺乏用户交互历史，传统的协同过滤方法难以为其提供有效推荐。而基于内容的方法虽然能够处理新物品，但推荐质量往往不如协同过滤。 针对这一挑战，研究者们提出了多种创新解决方案。本节将重点介绍两种具有代表性的方法：CB2CF（Content-Based to Collaborative Filtering）和MetaEmbedding。CB2CF通过学习内容特征到协同过滤表示的映射关系，让新物品能够直接获得协同过滤质量的推荐效果；MetaEmbedding则通过元学习的思想，利用物品的辅助属性信息为新物品生成更好的初始embedding表示。这两种方法从不同角度解决了内容冷启动问题，为推荐系统的实际应用提供了有效的技术支撑。 1.1 CB2CF 协同过滤依赖用户-物品交互数据学习用户偏好和物品特征，能够发现复杂的隐式关联模式，但面对新物品时束手无策。基于内容的方法利用物品的属性信息进行推荐，可以处理新物品，但往往只能捕捉到表面的相似性。 这种分离带来了一个根本性问题：如何让新物 ...

参考 热点（一）模型去偏 推荐系统在为用户提供个性化服务的过程中，面临着一个容易被忽视但极其重要的问题：我们用来训练模型的数据本身可靠吗？与严格控制的实验室环境不同，推荐系统的数据来源于用户在真实场景中的交互行为。这些观测数据不可避免地受到系统策略、用户习惯、物品流行度等多种因素的影响，导致数据中存在各种偏差。 更值得关注的是，推荐系统存在一个天然的反馈闭环：模型的推荐结果会影响用户的未来行为，而这些行为又会成为新的训练数据来更新模型。这种闭环机制会像滚雪球一样不断放大初始数据中的偏差，最终可能导致推荐结果的单一化和不公平性。 偏差的类型与影响 推荐系统中的偏差可以按照产生阶段分为两大类 ：数据偏差和结果偏差。数据偏差发生在数据收集阶段，是后续问题的根源；结果偏差则体现在推荐结果中，是数据偏差经过模型处理后的表现。 数据偏差的核心问题在于训练数据的分布与理想测试数据的分布存在差异。在推荐系统中，这种差异主要体现在以下几个方面： 选择偏差是显式反馈场景中的典型问题。用户倾向于只对自己感兴趣的内容进行评分，这导致我们观测到的评分数据并非所有可能评分的随机样本。研究表明，用户主动评 ...

参考 重排（二）个性化重排 上一节我们探讨了基于贪心策略的重排序方法，如MMR (Maximal Marginal Relevance) 和 DPP (Determinantal Point Processes)。这些方法通过显式定义多样性、相关性或覆盖度的优化目标，在初始排序列表上进行局部调整。它们计算高效且可解释性强，但在处理复杂的物品间相互影响和深度个性化方面存在局限：目标函数往往需要手工设计，难以捕捉高阶、非线性的交互模式；同时，将用户个性化信息深度融入列表级优化也颇具挑战。 接下来会介绍两个经典的个性化重排模型：PRM和PRS。 1、PRM：基于Transformer的个性化重排 原理 PRM (Personalized Re-Ranking Model) 的提出，标志着重排序技术从基于规则/启发式向数据驱动、端到端学习的重要转变。其核心思想是：利用强大的序列建模能力（Transformer）自动学习列表中物品间复杂的相互影响，并将细粒度的用户个性化信息深度融入整个重排序过程，通过最大化列表级效用目标（如点击率）进行全局优化。 PRM不再依赖预设的多样性公式，而是让模型直 ...

参考 重排（一）贪心重排 贪心算法以其思路直观、计算高效、易于实现的特点，成为重排阶段解决多样性、新颖性等问题的首选策略之一。它们通常不依赖复杂的模型训练，而是基于预先定义的规则或目标函数，通过逐步选择当前最优解（贪心选择）的方式来构建或调整最终推荐列表。本节将深入剖析两种经典的、基于贪心的重排算法：最大边际相关（Maximal Marginal Relevance, MMR） 和 行列式点过程（Determinantal Point Process, DPP）。 1、MMR：最大边际相关 原理 在精排输出的按CTR降序排列的列表中，头部物品往往具有高度相似性（如连续推荐同品类商品或同风格视频）。这种同质化现象直接导致两大问题： 用户体验恶化：用户浏览时产生审美疲劳，兴趣衰减速度加快； 系统效率损失：长尾优质内容曝光不足，平台生态多样性下降。 MMR算法 的核心目标是在保留高相关性物品的前提下，通过主动引入多样性打破同质化，实现“相关性与多样性的帕累托最优”。 MMR通过定义边际收益函数量化物品对列表的增量价值： MR(i)=λ⋅Rel(i)⏟相关性−(1−λ)⋅max⁡j∈S ...

参考 精排（五）多场景建模 在现代大规模推荐系统中，用户的行为和兴趣往往呈现出高度的场景依赖性。这里的“场景”可以指不同的业务形态（如电商APP的首页推荐、商品详情页的“猜你喜欢”、购物车页的“你可能还想要”）、不同的流量入口（如主站、独立子频道）、不同的用户状态（如新用户、老用户、活跃用户、沉默用户）、甚至不同的设备或时间上下文。传统的单一全局模型，试图用一个“万能”的模型覆盖所有场景，常常面临场景特性淹没与数据稀疏性的双重困境： 共性淹没特性： 强行融合所有场景数据训练，模型容易被数据量大的主导场景所主导，难以捕捉和适应小场景或特性鲜明场景的独特模式。 数据稀疏性： 对于新场景、小流量场景或长尾用户群体，独立建模所需的高质量训练数据往往不足，导致模型效果不佳。 参数效率低下： 为每个场景独立训练和维护一个完整模型，成本高昂且难以实现场景间的知识迁移。 多场景建模（Multi-scenario Modeling / Multi-domain Modeling） 正是为了解决这些核心挑战而提出的关键技术范式。其核心思想在于：充分利用多个场景数据之间的潜在“共性”来提升模型的泛化 ...

参考 精排（四）多目标建模 多目标建模（Multi-Task Learning, MTL）通过联合优化多个相关任务，在推荐系统中实现用户体验与商业目标的协同提升。相比独立建模，多目标方法能够降低参数量、提升系统效率，并通过知识迁移缓解数据稀疏问题。 在实际应用中，电商场景联合优化CTR、CVR、GMV避免单一指标导致的低质商品推荐；视频平台同时优化播放完成率、评分预测、用户留存率提升长期用户价值。然而，多目标建模面临任务冲突、跷跷板效应和负迁移等核心挑战。 针对这些挑战，业界发展出三大解决方向：模型架构从Shared-Bottom到MMoE再到PLE的演进，解决任务冲突与负迁移；ESMM和ESM2等依赖关系建模方法，处理用户行为链路的样本偏差；以及从手工加权到自适应优化的多损失融合策略，解决量级失衡与收敛异步问题。 本章将详细介绍这些核心技术的原理与实践。 1、基础结构演进 1.1 Shared-Bottom 原理 Shared-Bottom 模型作为多目标建模的奠基性架构，采用"共享地基+独立塔楼"的设计范式。其核心结构包含两个关键组件： 共享底层（Sha ...

参考 精排（三）序列建模 在上一节中，我们探讨了如何通过各类特征交叉模型，让机器自动学习特征之间复杂的组合关系。无论是二阶交叉的FM、AFM，还是高阶交叉的DCN、xDeepFM，它们的核心目标都是从一个静态的特征集合中挖掘出有价值的信息。然而，这些模型普遍存在一个共同的局限：它们大多将用户的历史行为看作一个无序的"物品袋"（a bag of items），如同用户的兴趣是一个静态的表示。 但用户的兴趣不是静止的，而是具有明显的时序性和动态演化特点。一个用户先浏览"鼠标"再浏览"显示器"，与先浏览"小说"再浏览"显示器"，这两个行为序列背后指向的购买意图截然不同。前者可能是一位正在组装电脑的数码爱好者，而后者可能只是在工作之余的随性浏览。传统的特征交叉模型难以捕捉这种蕴含在行为顺序中的、随时间变化的意图。 因此，本节我们将转换视角，不再将用户历史看作一堆静态特征的集合，而是将其视为一个动态的序列。我们将聚焦于如何对用户的行为序列进行建模，从这个序列中挖掘出用户动态、演化的兴趣。接下来 ...

参考 精排（二）特征交叉 前面我们讲了Wide & Deep模型，它把记忆能力和泛化能力结合起来。不过Wide部分有个问题：需要人工设计交叉特征，比如“用户年龄×商品类别”这样的组合。这种手工设计的方式不仅费时费力，还很难覆盖所有有用的特征组合。 既然手工设计这么麻烦，那能不能让模型自己学会做特征交叉呢？这就是本节要讨论的核心问题。我们会按照两条技术路线来看：先从简单的二阶交叉开始，然后到更复杂的高阶交叉，最后看看怎么让交叉变得更个性化和自适应。 1、二阶特征交叉 针对 Wide & Deep 模型中人工特征工程的局限性，特征交叉自动化成为了一个迫切需要解决的问题。在这一探索过程中，首先要攻克的是：如何自动、高效地捕捉所有成对（二阶）特征的交互，并将其与深度学习模型结合。 这里的挑战不仅在于"自动"，更在于面对推荐场景下海量、高维、稀疏的数据时如何实现"高效"。直接暴力计算所有特征对的组合是不可行的，我们需要一种更巧妙的机制来参数化这些交互。同时，在解决了二阶交互的自动化表达后，如何将这些捕获到的低阶、显式交互信息，与能够 ...

参考 精排（一）记忆与泛化 在构建推荐模型时，我们常常追求两个看似矛盾的目标：记忆（Memorization）与泛化（Generalization）。 记忆能力，指的是模型能够学习并记住那些在历史数据中频繁共同出现的特征组合。例如，模型记住“买了A的用户，通常也会买B”。这种能力可以精准地捕捉显性、高频的关联，为用户提供与他们历史行为高度相关的推荐。 泛化能力，指的是模型能够发掘特征之间更深层次的关联，探索那些在数据中从未或很少出现过的全新特征组合。例如，模型通过学习发现“物品A和物品C都属于某个抽象类别，而用户喜欢该类别的物品”，从而向喜欢A的用户推荐了他们从未见过的C。这种能力有助于提升推荐的多样性和新颖性。 如何在一个模型中平衡并兼具这两种能力，是推荐系统领域的一个核心挑战。于2016年提出的Wide & Deep模型 ，为此提供了一个影响深远的经典架构。它并非简单的模型集成，而是通过一种巧妙的 联合训练（Joint Training） 机制，将两种能力无缝融合。 这个架构的核心思想是将模型结构拆分为两个部分，分别承担不同的职责，如下图所示： 记忆的捷 ...

参考 召回（三）序列召回 在前面的章节中，我们学习了协同过滤和向量召回的方法。这些方法通常将用户的历史行为汇总成一个静态的表示（比如一个向量），然后基于这个表示进行推荐。但是，用户的行为其实是有时间顺序的，而且这个顺序往往包含了重要的信息。 比如，一个用户先浏览了跑鞋，然后看了运动服，接着又看了健身器材，这个顺序告诉我们这个用户可能对健身运动感兴趣。如果我们只是简单地把这些行为加起来或者平均，就丢失了这种时间顺序的信息。 序列召回就是要利用用户行为的时间顺序信息来进行推荐。它的基本想法是：用户的当前兴趣不仅取决于他过去喜欢什么，还取决于他最近在做什么，以及这些行为的顺序。 序列召回就是要利用用户行为的时间顺序信息来进行推荐。它的基本想法是：用户的当前兴趣不仅取决于他过去喜欢什么，还取决于他最近在做什么，以及这些行为的顺序。 相比传统的静态表示方法，序列召回能够对用户的兴趣理解的更加的准确及全面。它可以理解行为间的因果关系，如用户买手机后通常会买手机壳；能够捕捉兴趣的演化过程，如从数码产品转向户外运动；还能更好地处理多元化兴趣，在不同时段识别用户对电影、运动等领域的偏好变化。 在序 ...