【阅读笔记】快手OCPX广告冷启动影子价格法

本文为阅读张任宇老师论文《Cold Start on Online Advertising Platforms: Data-Driven Algorithms and Field Experiments》的读书笔记。据张老师分享，该方法目前被应用到快手广告线上冷启动，取得了不错的收益。

问题背景

信息流广告冷启动面临的核心技术问题:

新广告数据量不足，其价值难以准确预估
合理分配广告流量，平衡消耗与冷启动价值

优化目标

找到合适的广告推送策略，最大化消耗与冷启动收益之和

符号说明

广告集合 $A:\{1,2,...,k\}$

转化出价 $b:\{b_1,b_2,...,b_k\}$

$y_{t,j}$ 表示广告j是否被展现给用户t=1,2,3,...,T

$x_t=i$ 表示第t个用户的特征i

$c_{i,j}=ctr$ 在特征i下广告j的实际点击率

$\hat{c_{t,i,j}}=pctr$ 用户t特征i下广告j的预估点击率

$cv_{i,j}=ctr*cvr$

$\hat{cv_{t,i,j}}=pctr*pcvr$

$\beta_j$ 表示冷启动时单次转化的价值(设为 $2b_i$ )

$\alpha T$ 冷启动成功的阈值(设为10)

问题建模

$maxV(y_{s,j})=\sum_{s\leq t-1}\sum_{j\in A}\hat{cv_{t,i,j}}*b_j*y_{s,j}+\sum_{j\in A}\beta_j * min\{(\sum_{s\in t-1}\hat{cv_{t,i,j}}*y_{s,j}),\alpha(t-1) \}$

其中第一项里面其实就是 $pctcvr*cpa*isShow$ ，也就是ecpm。

第二项是取当前转化数 $\sum_{s\in t-1}\hat{cv_{t,i,j}}*y_{s,j}$ 和冷启动阈值 $\alpha (t-1)$ 的最小值，再乘以冷启动单个转化价值 $\beta_j$ 得到冷启动总价值。

约束条件：
$s.t. \{ y_{s,j}\geq 0, \sum_{j \in A} y_{s,j} \leq 1\}$
第一个约束是说一个广告要么曝光要么没曝光。
第二个约束是说对于一个用户，假设所有广告中总是只有小于等于一个广告获得展现。

对偶问题推导

由于原问题维数为T*K，即用户数x广告数，维数太高不好求解，需要转化到对偶空间。

先做一次线性化：
$maxV(y_{s,j})=\sum_{s\leq t-1}\sum_{j\in A}\hat{cv_{t,i,j}}*b_j*y_{s,j} +\sum_{j\in A}\beta_j * [ \alpha(t-1)- \mu_j]$

其中 $\mu_j$ 为广告离冷启动阈值还差多少个转化

$s.t.$
$y_{s,j}\geq 0, \sum_{j \in A} y_{s,j} \leq 1,\forall s \leq t-1 , \forall j \in A$
$\sum_{s \leq t-1}\hat{cv_{t,i,j}}*y_{s,j} + \mu_j \geq \alpha(t-1)$

为简化问题，忽略其他约束，只考虑最后一个约束条件，写出其增广拉格朗日公式

$L(y,\lambda)= \sum_{s\leq t-1}\sum_{j\in A}\hat{cv_{t,i,j}}*b_j*y_{s,j}+$
$\sum_{j\in A}\beta_j * [ \alpha(t-1)- \mu_j]+$
$\sum_{j \in A}\lambda_j\{\sum_{s \leq t-1}\hat{cv_{t,i,j}}*y_{s,j} + \mu_j - \alpha(t-1)\}$
展开得
$L(y,\lambda)= \sum_{s\leq t-1}\sum_{j\in A}\hat{cv_{t,i,j}}*b_j*y_{s,j}$
$+\sum_{j \in A}\lambda_j \sum_{s \leq t-1}\hat{cv_{t,i,j}}*y_{s,j}$
$+\sum_{j \in A}\lambda_j( \mu_j - \alpha(t-1))$
$+\sum_{j\in A}\beta_j * [ \alpha(t-1)- \mu_j]$
化简得
$L(y,\lambda)= \sum_{s\leq t-1}\sum_{j\in A}\hat{cv_{t,i,j}}*(b_j+\lambda_j)*y_{s,j}$
$+\sum_{j \in A}\mu_j(\lambda_j-\beta_j)$
$+\sum_{j\in A}\beta_j * [ \alpha(t-1)]$
$-\alpha (t-1) \sum_{j \in A}\lambda_j$

按 $(\lambda_j-\beta_j)$ 分类讨论求 $sup_y L(y,\lambda)$ 。

当 $(\lambda_j-\beta_j) \leq 0$ 时候，在0处取得sup。又由一个队列只能有一个展现，可以约掉广告集合的求和项，得
$sup_yL(y,\lambda)= \sum_{s\leq t-1}\max\{\hat{cv_{t,i,j}}*(b_j+\lambda_j)\}$
$+\sum_{j\in A}\beta_j * [ \alpha(t-1)]$
$-\alpha (t-1) \sum_{j \in A}\lambda_j$
否则， $sup_y L(y,\lambda)$ 为正无穷。
$g(\lambda)=sup_yL(y,\lambda)$
$f(\lambda)=min. g(\lambda)$
略去跟自变量 $\lambda$ 无关的常数项，得
$f(\lambda)=min\{ \sum_{s\leq t-1}\max\{\hat{cv_{t,i,j}}*(b_j+\lambda_j)\} - \alpha (t-1) \sum_{j \in A}\lambda_j \}$
$s.t.$
$\lambda_j \in [0,\beta_j]$

这个对偶问题的第一项我们可以看成是调整后的新ecpm。

我们对广告主竞价 $b_j$ 加了一个“影子出价” $\lambda_j$ 来增加新广告的曝光率以提升长期冷启动的价值。

冷启动价值系数 $\beta_j$ 则是最优影子出价 $\lambda_j$ 的上界。

求解对偶问题

主函数为凸函数，线上使用Sub-Gradient Descent Method（次梯度下降法）对其进行求解。

其次梯度为:
$g_j=\frac{\partial f(\lambda)}{\partial \lambda_j}= \sum_{s\leq t-1}\hat{cv_{t,i,j}}*I(\lambda_j)-\alpha(t-1)$
其中，I是示性函数，当广告j的新ecpm排名最高时，I为1，否则I为0。
$\lambda_j^{(k+1)}=\lambda_j^{(k)}-t_k * g^{(k)}$
这里k为迭代次数， $t_k$ 为步长。
迭代终止条件为:
$f(\lambda_j^{(k+1)})-f(\lambda_j^{(k)})<\epsilon$
此次 $\lambda$ 更新完成。

线上实现基本思路

MAB+Linear Programming

Shadow Bidding with Learning(SBI)算法

对于每个时刻：

观测用户特征 $x_t=i$ ，以 $\epsilon_t=t^{-\frac{1}{3}}(Klogt)^{\frac{1}{3}}$ 概率随机等可能展示一个广告;以 $1-\epsilon$ 的概率展示广告 $argmax_j({\hat{cv_{t,i,j}}}*(b_j+\lambda_j))$
到了需要更新的时刻，解empirical dual；更新冷启动广告的影子出价 $\lambda$
更新DNN模型以及对应的pCTR,pCVR.

实验结论

SBI算法几乎能达到“上帝视角”的最优价值。

AB实验冷启动成功率+61.62%，冷启动价值+47.71%，CTR预测的AUC+7.84%，短期消耗和超成本情况几乎不变。

最后编辑于：2020.12.16 23:44:24

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,793评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 87,567评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,342评论 0赞 338
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,825评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,814评论 5赞 368
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,680评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,033评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,687评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 42,175评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,668评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,775评论 1赞 332
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,419评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,020评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,978评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,206评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,092评论 2赞 351
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,510评论 2赞 343