首页 > 深度学习 > 正文

deep & cross network for ad click predictions

标签:deep & cross network, DCN


目录

概述

论文地址:deep & cross network for ad click predictions

在ctr预估这种场景中,有大量的离散和类别特征,所以特征空间非常大且稀疏。线性模型,例如logistic regression,简单,有可解释性,易扩展性,而交叉特征可以显著增加模型的表示能力。但这些组合徨需要人工的特征工程,或者exhaustive searching,而且,产生unseen的特征interactions非常困难。

本文提出了cross network,可以使用自动的方式实现显式的特征交叉。cross network包括了多种层,其中最高度的interactions是由层的深度决定的。每一层会基于已有的部分产出高阶interactions,并保持前层的interactions。本文实现了cross network和dnn的联合训练。dnn能捕捉特征间非常复杂的interactions,但相比cross network而言,需要更多参数(几乎差一个数量级?an order of),而且难以显式地产出交叉特征,并且可能难以高效地学习特征的interactions。

为了避免extensive task-specific特征工程,主要有两类方法:embedding方法和神经网络。

embedding方法

Factorization machines(FMs)

Field-aware Factorization Machines(FFMs)

神经网络


原创文章,转载请注明出处!
本文链接:http://hxhlwf.github.io/posts/dl-deep-cross-network.html
上篇: 激活函数
下篇: c++11新特性

comment here..