运营必知「推荐」二三事

不想当「厨师」的「采购员」不是「好运营」

对于一个内容产品来说,运营的日常的工作中,特别是「内容运营」的同学会经常和推荐算法同学有很多工作上的配合,运营同学像是一个餐馆的采购员,负责食材的采买,而推荐同学就像是厨师,结合用户所点的菜单(偏好)采用对应的食材做成用户大概率会喜欢的菜肴。

在这个链条里,运营同学在上游,如果引入的内容/创作者不够优质,就像采买的食材不够新鲜高质一样,推荐同学无论怎么努力都很难做出可口的菜肴。同时还有另一个问题,即便运营同学采买了最好的食材,如果推荐同学做菜的方式有问题,后者没有最合理的使用食材,也没有最大限度发挥食材的价值,暴殄天物了。

因此对于运营同学来说,不仅做好自己的上游工作,还非常有必要知道推荐的相关工作,这样当做出的菜肴不够好吃时,我们才能及时发现是食材的问题,还是做的方法有问题?更快的进行下一步的调整。

必知一:内容是如何被推荐的?

对于运营同学来说,首先需要了解的是:内容是如何被推荐的?我们引入的创作者和他们的内容,是如何经过层层流程,决定是否被推荐,以及被给到多少流量的?内容在进入系统后整体的处理流程,不同产品和不通过公司的处理是不太一样的,但是整体逻辑上基本相同,大模块的业务逻辑基本如下图。

内容推荐流程图

如上图所示,当用户上传一条内容后,内容会首先经过安全审核的流程,安全审核主要是将一些违规,黄色暴力血腥的内容剔除掉,未过审的视频基本就永久屏蔽或者直接删除。通过安全审核后,大部分内容社区会有原创审核,将一些重复上传或者搬运的内容过滤掉,原创审核大部分是依靠机器来审核的,未通过原创审核的就只会在用户自己的个人主页,或者粉丝的关注页等私域展示;

通过了原创审核后的视频会再进入第一道质量审核,质量审核主要是把一些无意义、无主题、杂乱的内容过滤掉,通过了第一道质量审核后,内容将会被推荐系统纳入推荐候选池,然后会给作品最基础的流量推荐,目的是通过基础流量后产生的数据初步判断作品质量的好坏。

如果基础流量过后的数据反馈较好的话,就会接着加码给到更多的流量推荐,拿到更多流量推荐后,如果数据表现不好,也会被停止推荐,数据表现好的,会再进入一道内容质量审核或者举报审核,第二道质量审核主要目的是防止前面的审核会有漏审,或者有一些不符合社区内容调性的内容出现。举报审核是指消费内容用户主动点击的举报,收到过多举报的内容一定是有潜在风险,需要人工再次审核。

通过第二道质量审核,或者举报审核后,作品将会被持续给到更多流量,进入一个周期的推荐,成为内容平台重点推荐的候选内容。但是在整个持续推荐过程中,还会有一些更细的审核流程,比如高热审核,针对全平台最热门的视频进行审核,保证没有风险,同时持续进行用户举报审核,及时发现潜在违规作品。

持续推荐过程中,如果内容的数据反馈出现下滑,那么会慢慢的进行推荐冷却,直至停止推荐。

以上所有流程中,被停止推荐的作品,在后续的 过程中,也会因为一些偶然的触发或者其它的召回被重新激活,给到更多流量进行推荐。常见的比如遇到节日,过往节日类的内容就会被重新召回推荐。

了解了上面的推荐流程后,运营同学就能对整体内容的流转有一个清晰的认知,可以结合到自己的产品或者业务逻辑,细化整体的流程,这样当遇到问题的时候,就能及时的知道目前内容处在一个什么阶段。

必知二:推荐系统是如何工作的?

上述的推荐流程中,能帮助我们厘清内容流转的逻辑,但是在上图中的流量推荐模块,到底是如何进行推荐的,我们并不清楚。为了搞清楚这个问题,我们得先对整体推荐系统有一个了解。

如果把推荐系统简单拆开来看,推荐系统主要是由数据、算法、架构三个方面组成。

  • 数据主要提供推荐所必须的信息,包括用户和内容的特征信息,用户对于内容的行为反馈数据等;
  • 算法主要是提供策略和逻辑,在海量的数据下,人工策略已经很难进行分析和干涉,因此需要一套算法来自动的进行信息逻辑处理和返回推荐的内容;
  • 架构主要是承载数据和算法的平台,对接上下游的数据和逻辑,保证系统能够稳定、实时自动的运行。

常见的推荐系统如下图所示。


推荐系统架构(示意图)

在上图的推荐架构中,数据存储模块,主要是负责存储内容索引(一种对应到内容的逻辑标识,便于找到内容),用户特征(包含用户的画像信息,兴趣点等),用户日志(包含用户在客户端对内容产生的一些行为,比如,点击,点赞,分享,评论等)

推荐算法部分,会通过内容索引对内容进行召回,召回的候选内容一般都比较多,然后会经过一层过滤,将一些不适合推荐,或者其它运营、审核逻辑干涉的进行过滤,然后产生的推荐候选池会进行排序,排序通常分为粗排和精排两个步骤,排序的方式是通过用户的特征,以及用户的行为日志,将内容排成用户最有可能细化的顺序。这样最终的排序后的内容就会推送到客户端,按照客户端实际的展现场景进行展示。

内容展示后,用户对其产生的行为就会通过日志重新上报,然后实时进行日志的计算,用户画像更新和推荐指标更新,比如ctr等,实时计算完成后,再更新到数据存储中进行最后的存储,这样,后续的推荐取得数据都是最新的。

必知三:推荐算法核心两步:召回+排序

前面的推荐系统结构图,让我们知道了推荐的上下游工作原理,也知道推荐系统的组成部分有哪些,在这些组成部分里,和运营日常工作中交集最多的部分,应该是推荐算法部分,推荐算法中最核心的两步就是:召回和排序。了解了这一块,基本也就大概明白了推荐算法的原理,以及我们遇到一些推荐问题的时候,大概也能知道是哪一块出了问题。

我们先来看下「召回」,什么是召回?召回就是指推荐系统通过某种策略从全量内容池中选取一部分出来。推荐系统召回的方式一般有很多种,比如常见的,热门召回,协同过滤召回,兴趣标签召回等。单一的召回有自己的优点,但同时缺点也会很明显,因此为了有更完整、全面的召回,通常采用的是「多路召回」,如下图所示:

多路召回

如上图所示。如果我们根据召回是否有用户个性化因素存在来划分,可以分成两大类:一类是无个性化因素的召回路,比如热门内容或者历史点击率高的内容的召回;另外一类是包含个性化因素的召回路,比如用户兴趣标签召回,比如协同过滤召回。

简单解释下这几个常见的召回策略:

  • 热门召回,即全站,当前按照内容各项指标计算得到的综合分的排序,从这个排序中召回前k1个内容;
  • 兴趣标签,指根据用户偏向的兴趣标签,比如用户喜欢看体育中的篮球,那么从篮球这个标签下召回k2个内容;
  • 基于用户的协同过滤,是指计算出用户之间的兴趣相似度,举一个简单的例子,比如用户A喜欢{a,b,c},用户B喜欢{a,b,d},那么我们可以用两个用户喜欢集合的交集除以并集,得到两者的兴趣相似度,为{a,b}/{a,b,c,d}=0.5;这样我们找到和推荐用户兴趣点最相似的用户们,推荐其它当前用户没有看过的内容,比如给用户A推荐d;可以按照相似用户中不同内容的列表召回Top k3个内容;
  • 基于内容的协同过滤,和基于用户的协同过滤类似,这里我们计算不同内容之间的相似度,计算的方式有很多,简单的可以直接喜欢两个内容的用户数之间的重合度来计算,这样可以得到和当前内容相似的内容序列,按照相似度进行排序,召回Top K4进行推荐;
  • 基于社交关系的召回,一般是通过社交媒体的关系,将用户的朋友喜欢的内容推荐给用户,比如微信视频号里的,你的朋友点赞的内容推荐;
  • 上下文信息召回,是指依照一些时间上下文,位置上下午进行召回,最典型的是在节日期间,召回节日相关内容,还有就是依据地理位置,进行附近的内容召回。

召回之后的排序,一般分成粗排和精排两个阶段;粗排一般对召回的大量内容,进行一些简单的融合排序,比如多个召回源,各取TOP k,将大量的召回内容,截断到一个可控的量级(一般到千的量级),不然精排阶段会非常耗时,精排一般都采用模型进行排序,排序后召回内容会到百量级。

精排的方式有很多,最初级的是策略规则排序(对各路召回,指定权重和规则进行排序),后续有基于各种模型的排序,有LR(线性回归),LR+GBDT(线性回归+树模型),FM(因子分解模型),DNN(深度学习模型)等。各种模型的排序较为复杂,很多不具备可解释性,在这里不再赘述,感兴趣的读者可以自行检索。

必知四:部分书籍和文章推荐

作为运营的同学知道了上述的推荐逻辑后,基本能够很顺畅的和推荐同学进行沟通,同时,也能及时发现推荐系统中可能存在的问题,也能在推荐召回部分,用户画像,内容特征等维护根据自己运营的经验,给出一些自己的看法。

在写这篇文章过程中,我也参考了一些书籍和文章,推荐给大家。

《推荐系统实战》:https://book.douban.com/subject/10769749/
推荐系统技术演进趋势:从召回到排序再到重排:https://zhuanlan.zhihu.com/p/100019681
推荐系统怎样实现多路召回的融合排序:https://zhuanlan.zhihu.com/p/90796257
【机器学习】逻辑回归:https://zhuanlan.zhihu.com/p/74874291

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,378评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,356评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,702评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,259评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,263评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,036评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,349评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,979评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,469评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,938评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,059评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,703评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,257评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,262评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,485评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,501评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,792评论 2 345

推荐阅读更多精彩内容