深度推荐系统中的特征组合选择：TayFCS 框架解析
在信息爆炸的时代，深度推荐系统（DRS）成为了各大平台精准推送内容的核心技术。从流媒体平台推荐影视作品，到电商平台推送商品，深度推荐系统都在背后发挥着关键作用。而今天，我们要深入探讨的是深度推荐系统中的一个关键环节 —— 特征组合选择，以及一个崭新的框架 TayFCS 如何在这个领域大显身手。
一、深度推荐系统与特征组合的 “爱恨情仇”
深度推荐系统致力于精准捕捉用户与物品之间的复杂交互行为。它凭借着深度神经网络强大的模式识别能力，在众多领域大放异彩。相信大家都熟悉 DeepFM、DCN 和 PNN 等模型，它们在特征交互建模方面各有千秋。然而，现实总是不那么完美。模型容量和数据量的限制，使得这些方法在基于单个输入特征捕捉精细且高阶特征交互时，有些力不从心。于是，显式地组合不同特征成为行业内的常见做法。
想象一下，我们有性别、年龄和爱好三个特征，通过笛卡尔积的方式，可以轻松得到二阶特征组合 “性别 × 年龄” 和三阶特征组合 “性别 × 年龄 × 爱好”。这些特征组合能够有效降低模型学习特征共现模式的难度。但问题也随之而来，随着特征组合阶数的提高，其数量呈指数级增长，这不仅导致计算复杂度飙升，还引入了大量的信息冗余。因此，挑选出有效的特征组合成为了深度推荐系统面临的关键挑战。
传统的特征选择方法大多局限于选择单个特征，面对高阶特征组合选择时，往往因时间复杂度呈指数增长而举步维艰。例如，敏感性分析方法通过移除特征来近似损失变化，而基于门控的方法为每个特征分配可训练的门控，依据产生的门控值确定特征重要性。但这些方法都需要预先构建所有特征组合，并将其作为额外单独特征存储，这使得内存和时间复杂度呈指数级上升，严重制约了实际应用中的训练和选择过程。
二、TayFCS：破局而出的轻量级特征组合选择框架
面对上述挑战，TayFCS（Taylor-based Feature Combination Selection）应运而生。它是一种轻量级的特征组合选择方法，旨在显著提升模型性能，同时减轻内存消耗和计算负担。
（一）TayScorer：泰勒展开的 “神机妙算”
TayFCS 的核心组件之一是 Taylor Expansion Scorer（TayScorer）。这个模块巧妙地在基础模型上进行逐场的泰勒展开，通过分析模型梯度来挖掘特征组合的重要性，而无需逐一评估所有可能的特征组合。传统泰勒展开通常需要计算特征嵌入之间的联合偏导数，计算复杂度极高。而 TayScorer 基于信息矩阵等式（IME）的扩展，开发了一种高效的近似方法，在保留排序条件的同时，将计算复杂度从 O(n²) 降低至 O(n)。
具体来说，TayScorer 以训练好的推荐模型为基础，通过一次反向传播即可计算出各特征组合的重要性分数。它将特征的重要性视为对模型预测值的贡献，并依据这些分数对特征组合进行粗略排序。例如，在二阶泰勒展开中，通过计算 Hessian 矩阵（包含所有二阶偏导数）与梯度向量的外积，近似得到特征组合的重要性。
（二）LRE：逻辑回归消除冗余的 “火眼金睛”
然而，仅仅依靠 TayScorer 得到的分数还存在一个问题 —— 它将每个组合项视为独立的，这与实际情况不符。因此，TayFCS 引入了 Logistic Regression Elimination（LRE）模块来进一步筛选特征组合，去除冗余信息。
LRE 的工作原理可以这样理解：它采用贪婪算法，将排序后的特征组合按窗口大小逐步添加到逻辑回归模型中。在验证阶段，通过逐个打乱特征场的数据，评估模型性能的变化，从而计算出每个特征的实际增益。如果打乱某个特征后模型性能反而提升（即该特征的增益 ≤0），则表明这个特征是冗余的，应当从特征窗口中移除。这个过程不断重复，直到所有新增加的特征都能为模型带来有效的信息增益。
三、实验验证：TayFCS 的 “实力秀场”
为了验证 TayFCS 的有效性，研究人员在三个基准数据集上进行了广泛的实验，分别是 Frappe、iPinYou 和 Avazu。这些数据集涵盖了不同规模和特征数量的用户 – 物品交互数据，能够充分展示 TayFCS 在实际场景中的表现。
（一）主要性能对比
在与随机选择、AutoField+、AdaFS 和 MvFS 等多种特征选择方法的对比中，TayFCS 表现卓越。例如，在 Frappe 数据集上，基于 DNN 模型，TayFCS 将 AUC（Area Under Curve）从原始模型的 0.9735 提升至 0.9868，Logloss（对数损失）从 0.1825 降低至 0.1262，相对性能提升（ΔRelImp）达到 2.81%。这表明 TayFCS 能够精准地挑选出关键的特征组合，有效提升模型对用户偏好的预测能力。
而且，TayFCS 的优势不仅仅体现在单一数据集或模型上。在不同的数据集和多种模型（如 DeepFM 和 Wide & Deep）中，它都能稳定地带来性能提升，展现了其广泛的适用性和强大的泛化能力。
（二）特征重要性可视化
通过热力图可视化二阶特征组合的重要性分数，可以直观地看到 TayFCS 挑选出的关键特征组合。以 Frappe 数据集为例，用户和物品特征的组合最为重要，同时还发现国家和时间段特征的组合也扮演着关键角色。这与实际业务场景相符，毕竟广告展示的环境和时间因素对用户点击行为有着显著影响。
对于 iPinYou 数据集，重要的特征组合主要集中在与广告位（slotid）和用户代理（useragent）相关的特征组合上。这揭示了广告位的可见性、格式等特征与其他特征的组合能够产生更强的判别信号，从而帮助模型更精准地预测用户点击行为。
（三）迁移学习与泛化能力
TayFCS 的强大之处还在于它挑选出的特征组合能够成功迁移到其他模型中。在 Avazu 数据集上，将 TayFCS 选出的特征组合应用到 DCN 和 MaskNet 模型后，AUC 分别从 0.7942 提升至 0.8024 和从 0.7964 提升至 0.8046。这说明 TayFCS 的特征组合选择结果具有良好的泛化能力，能够在不同的模型架构中发挥作用，进一步提升模型性能。
（四）超参数分析与效率评估
在超参数分析中，研究人员发现增加特征组合的数量并非越多越好。以 Avazu 数据集为例，当特征组合数量 K=15 时，TayFCS 达到最佳性能；而当 K=20 时，模型性能略有下降。这印证了 TayFCS 能够精准地挑选出那部分真正有价值的特征组合，过多的特征组合反而会干扰模型的学习过程。
在效率方面，TayFCS 同样表现出色。与 AutoField+ 相比，在 Frappe 数据集上两者时间消耗相当，但在特征领域更多的 iPinYou 和 Avazu 数据集上，TayFCS 显著提升了时间效率。这主要得益于 TayScorer 的高效近似方法，它仅需单次梯度反向传播即可估算高阶特征组合的重要性，而 LRE 过程仅需训练一个轻量级的逻辑回归模型。这种高效性使得 TayFCS 在大规模数据集上也能快速完成特征组合的选择任务。
（五）消融实验与推理时间分析
消融实验进一步验证了 TayFCS 各组件的重要性。无论是随机选择特征组合、移除哈希表，还是去掉 LRE 组件，模型性能均有所下降。这充分说明了 TayFCS 的每个部分都对最终的性能提升起到了不可或缺的作用。
在推理时间方面，TayFCS 通过哈希嵌入表添加特征组合，并不会显著增加推理开销。在 Frappe 数据集的 DNN 模型上，推理时间仅增加了 10%；在 iPinYou 和 Avazu 数据集上，分别增加了 12.5% 和 13.7%。鉴于模型计算（不包括嵌入部分）本身也占用大量时间，且哈希操作使得嵌入表查询开销相对较低，这种轻微的推理时间增长是完全可以接受的，尤其是在模型性能得到显著提升的情况下。
（六）线上测试：商业价值的有力证明
TayFCS 并非只是实验室里的 “佼佼者”，它在实际应用中同样展现出了巨大的商业价值。在广告平台的转化率（CVR）预测任务中，TayFCS 帮助模型实现了 13.9% 的 CVR 提升和 0.73% 的收入增长。如今，它已成为该平台特征组合选择的基础工具，为提升用户参与度和平台收益发挥着重要作用。
四、结语与展望
TayFCS 框架基于泰勒展开理论，巧妙地结合信息矩阵等式实现高效近似，并引入逻辑回归消除冗余，为深度推荐系统中的特征组合选择提供了一种全新的解决方案。它不仅显著提升了模型的预测精度，还展现了高效的分析过程和强大的实际部署潜力，为优化深度推荐系统开辟了新的视野。
然而，TayFCS 并非完美无缺。它在增加特征组合的同时，也带来了额外的嵌入空间需求，导致内存成本上升。此外，构造的特征组合在特征值层面存在大量冗余，而 TayFCS 并未对此进行优化。未来的工作将着眼于探索特征值层面的组合，力求在提升准确性的基础上，最大限度地减少内存开销，进一步完善这一创新框架。
在这个数据驱动的时代，深度推荐系统不断推动着个性化服务的发展。而 TayFCS 的出现，无疑是为这一领域注入了一股新的活力，让我们共同期待它在未来能够带来更多惊喜和突破。