深度语义模型在推荐系统中的应用实战(youtube dnn)--part3

背景:上文讲到离线model已经训练好了。接下来就是最重要的部分,在线应用部分拿效果。在个性化推荐算法recall的整体架构中,有比较简单的写kv,在线直接读取kv。如果应用了深度model,也有相对稍微复杂一点的请求tf serving,或者别的深度学习model服务,拿到一些结果,根据结果去索引里拼接结果的。但是我认为向量召回是目前为止个性化召回架构里最完美的。正是因为这份追求完美的心,导致深陷泥淖一个月拿不到效果,(不是开发过程有问题,是上小流量后战胜不了baseline的无奈与反复调试后最佳效果打平的遗憾背后,不得不换了一种方法,在召回架构上做了一定裁剪,才拿到收益。)所以说有时候完美的不一定是好的,大道至简。所以说熟读金庸的朋友们一定记得与杨过在得到玄铁重剑的时候看到独孤求败留在剑冢里的几句话。第四个境界就是木剑无滞。“四十岁后,不滞于物,草木竹石均可为剑。自此精修,渐进于无剑胜有剑之境。"我觉着是这是每一个做学术的人追求的最高境界,我可能也就刚刚到第一个境界--利剑无意,也许都还没到,我第一次读这个的书是在初中,觉着人生总还是要不停攀爬,再不行也需要,尽吾志也而不能至者 可以无悔矣。

一:完美的架构与不如人意的效果。这里需要两大块,离线侧需要训练完model之后,将tf model export出来已备建立tf serving做user embeding使用,离线侧还需要从训练好的model里面output 出item vector,将vector建立好fasis索引,以便达到向量召回。离线建立好之后,在线的开发只需要是在推荐引擎里面每一个user到来之后组建相应的user特征给tf serving发请求,tf serving embedding向量后,从fasis中召回最近邻的topk个itemid,推荐引擎得到itemid后从doc里面拿出详情再走入rank,完成推荐。很漂亮的一套流程,但是就是没有效果,在整体流程之上加了很多策略控制也是不太能战胜基线。分析原因:在我们这个系统中,基于user的推荐之前主要是content based来完成的,强依赖与user profile。很难做到跨域推荐。之前有一些基于点击的item来完成推荐的算法像内部自研的swing和一些其它的(脱敏不公开哈哈哈)等等。这部分的推荐流量占比已经非常高了。所以在调效果一个月不行的情况下,忍痛转为基于item的推荐。

图1 离线数据流


图2 在线召回架构

二:月有阴晴圆缺,普通的架构下,拿到了一些正向收益。得到itemvector之后,直接相似度离线计算得到item sim,然后写kv,在线直接根据click item,去得到召回。这样的情况下小流量试验效果正向,这个新的召回分支表现也很棒。


图3,实际应用的离线数据流

最终结果分析:上线后ctr+1%,人均阅读时长+0.3%,推荐多样性+2.5%. 我之前看到过国内说自己应用这个然后收益的只有58同城,说的是ctr+1%,然后听到过公司里其它组同学分享说ctr+1%- +3%之间,不过他的建模不是这个模型,虽然思路类似。如果有一些别的公司落地实战产生了收益,而且比较大,麻烦看到的朋友留言或转告我一下,还想求教一下。毕竟人都有追求完美的心。哈哈哈。

虽然效果收益不是特别大,但是还是有一番感谢想说,因为个人永远是团体里一小部分。苏老板与君姐在没有效果的那一月的耐心等待,因为我今年刚跳槽,其实不应该在那一月里过多停留调效果,应该早转向。谢谢他们。也非常感谢一干组内人员的帮助,当时在系统不熟悉的情况下,他们给予了很多指点。 当然如果你看过我之前的文章和这次最大的变化就是在一些架构的描写少了,因为这次跳槽回到了大公司,有很多平台,谢谢模型平台的人搭建了这个模型,否则自己去实现这个youtube dnn还是会耗费很多时间。还有架构的人搭起来了fasis 可以直接建立索引和直接调用。也省了我一些时间。

本文为原创,如需转载请注明出处。

第一版完成与20180806凌晨。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,319评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,801评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,567评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,156评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,019评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,090评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,500评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,192评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,474评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,566评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,338评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,212评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,572评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,890评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,169评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,478评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,661评论 2 335

推荐阅读更多精彩内容