用python写一个简单的推荐系统

前言


在上篇文章豆瓣电影,电视剧DM实战中提及到,我和室友们产生了剧荒,萌生出要做一个个人用的推荐系统,解决剧荒的问题的想法,经过一轮的死缠烂打,这个个人推荐系统终于成型了。

今天来分享一下心得,对此感兴趣的朋友可以自己对着写一个。

传统推荐系统算法


首先介绍一下传统的推荐系统方法,之所以叫它传统,是因为大部分学习资料上都是用这一个方法。

我们来假设有这么一个矩阵(用python的列表表示):

  [# A B C D E
    [2,0,0,4,4], #1
    [5,5,5,3,3], #2
    [2,4,2,1,2]  #3
    ......
  ]

矩阵的行代表用户,列表示物品,其交点表示用户对该物品的评分。

假设现在用户1需要选商品,推荐系统则假设其会选择并未选择过的商品,因此,系统会在第一行中寻找评分为0的物品,显然会找到B和C。这时,该怎么知道是推荐B还是C呢?(假设用户只需推荐一个),这时则需要计算B、C和用户以前选择过的物品(已评分)的相似度。

仅仅算出相似度还不够,因为你不能判断这到底是好的那一部分相似还是坏的部分相似。所以这时,我们需要引入用户的评分作为相似度计算的权重,评分X相似度得到最后的得分(该得分会一直累加,则B的推荐得分会是B与A,D,E的相似得分的累加和)。这样一来,评分低物品的最后得分自然就低,评分高的物品自然得分就高,这时问题就简化成排序问题了。

显然,上述问题的核心在于如何计算相似度。

这里给出计算相似度的两种方法:

欧式距离法

  • 以B和A的相似度为例:
    similar = 1/sqrt((0-2)^2 + (5-5)^2 + (4-2)^2 ……)最后B与A的相似得分还得乘上评分,score = similar * 2
  • 余弦相似度
    costheta=fracAcdotB||A||||B||

AB为两列向量,||A||表示A的2范数
特别注意一点的是,cos的取值是-11,我们需要将其归一化,即把范围弄成在01上。于是相似度计算公司变成0.5 + 0.5*cos

少用户推荐系统的创新


在上述的内容中,我们可以发现传统的方法有一个特出的问题,传统的算法需要大量的用户评分,即矩阵的行数需要较多才能得出的结果才值得参考。这一个需求咋看起来是没什么问题,也符合我们的逻辑,唯有数据量足够,我们才能找到较为准确的规律嘛。

但回到我的需求上来说,这可是一个明显的缺点,在前言我说明的需求上说过这是一个给宿舍甚至是个人使用的推荐系统。

也就是说:

  • 我们无法提供大量数据。

  • 我们很懒,我们最可能是告诉系统我从它的推荐中采纳了哪一部的电影,而不会去评分,我们可能告诉它质量是否可以接受,但不会像豆瓣用户那样给出0~10的准确分数。
    因此,传统的推荐算法有很多不适合我需求的地方,但是看问题要看本质。无非就是根据用户的特性,或者根据商品特性,进行与训练好的模型进行相似性比较。抓住这些特点,我做了少少的"创新"

  • 不基于用户的评分作相似度,而是用商品的label做标准
    现在很多商品尤其是音乐或者电影,都会具有自己的label,比如说喜剧,悬疑,其次还有主演,导演等可以作为其特征。电商平台上也有诸如商品种类衣服,女鞋,包包,等,而某些物品,例如衣服,那么衣服的品牌,size,都可以作为用户的一个选择的特征。

  • 用户模型是动态更新的
    这一点不难理解,如果一个用户长期使用使用该系统,那么他的选择中很可能已经覆盖了大量的label,这时基于label的推荐系统则很难区分该用户的喜好。这时我们有两个解决方法。第一个是允许用户自定义label,比如SF就可以自定义问题或文章的标签,这样增大了label的多样性。当然,这个解决方案只能算一个缓解的方案,要想彻底解决,我觉得需要给特征选定有效期。
    增加有效期后,用户的选择可以反应出一个时间段内的需求。假设这样一个场景,一名用户准备去旅游了,他可能会大量浏览旅游用品的出售页面,例如一次性牙膏等,这时,就可以向该用户推荐出售旅行用品的网站了。而超过了特征的有效期,例如一周,这时用户已经旅游回来,因为特征已经无效,推荐系统不再推荐旅游用品(这样用户不会觉得莫名其妙。个人经历,现在某些网站就往往会出现明显已经超过我感兴趣时限的推荐),而是开始重新收集用户新一周浏览的特征,动态构建用户模型,推荐用户下一阶段他可能需要的物品
    实现上述想法,在python中,我们可以这么做,实现如下字典

record = {
    "labelName":(weight,time),
    "labelName2":(weight,time)
    ……
}
#labelName是标签名称,在该标签下有一个元组,元组的第一个字段是这个标签的权重。
#权重越大,表示用户越喜欢这个标签。
#第二个字段是创建该标签的起始时间

在实现推荐时,则较为容易实现,给定testList。这时需要:

  • 创建名res的空字典
  • 遍历testList,每一个对象命名为t
  • 遍历t具有的label,根据label从record上获取信息。
  • 同时获取当前时间time2,如果time2-time超出了规定时限,则该标签的信息无效,忽略该label,同时删除record里面的对应的字段。
  • 若该标签有效,则t的得分加1,并将t的下标index作为key假如到一个res中
  • 遍历完成后,对res字典按value排序
  • 最后,可以根据需要对排序结果进行访问。比如只获取最高的前5名。
    这样,一个适合少用户的推荐系统就弄出来啦~

现在正在宿舍投入运行,至于效果如何可能要一段时间才知道了

后话


github 地址

说明一下,github上只是提供了一个实现了上述改进后思路的类recommend.py,并不是一个成型的推荐系统,你可以下载后,根据这个类进行二次开发,比如:

  • 利用flask框架包装成一个web应用
  • 结合该类并利用SMTP协议,弄一个自动往邮箱发信息的脚本,推荐的电影信息
  • 将类实例化,弄出简单的命令行应用

迟下我会上传一个使用falsk封装的一个简单的webserver去github,可以通过web API请求,返回json格式的电影信息。

如有错误,望指正。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,911评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,014评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 142,129评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,283评论 1 264
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,159评论 4 357
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,161评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,565评论 3 382
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,251评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,531评论 1 292
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,619评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,383评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,255评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,624评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,916评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,199评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,553评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,756评论 2 335

推荐阅读更多精彩内容