-
推荐系统召回四模型之:全能的FM模型
(1)从多路召回到FM做统一的召回模型,将所有特征划分为(User,Item,Context)三个子集合
(2)从LR到SVM再到FM模型,从MF模型(只有U和I两个特征Fields)到FM模型
(3)优化FM计算效率,从O(kn^2)到O(kn) -
推荐系统召回四模型之二:沉重的FFM模型
(1)两个思考问题:是否可以一统多路召回?是否可以一统召回+排序
(2)FM是每个特征都学会一个embedding向量(组合特征时向量共享),FFM是在不同的特征分类用不同的embedding向量
(3)FM可以改写公式降低复杂度,FFM无法改写所以还是O(kn^2),如何应用沉重的FFM且为之提速 -
FM:推荐算法中的瑞士军刀
(1)类似Xgboost被誉为kaggle比赛中的瑞士军刀,大公司追求DNN/GNN大杀器,但从0到1快速搭建只能选FM,或者alphaFM,FM是唯一能用于召回粗排精排的
(2)FM召回,只需要把一系列的feature embedding相加,就可以对任何用户在线生成最新的user embedding,从而可以基于用户最新的兴趣,从千万量级候选item中完成实时召回。
(3)FM召回步骤(都是工程经验,非常的干货):①样本不能只拿曝光未点击做负样本,随机采样负样本+打压热门item,②特征,③训练模型,④线上服务,⑤冷启动新用户与新物料 - FM相关的库
(1)xlearn:xlearn-doc-cn.readthedocs.io
(2)libFM:libfm.org
(3)tffm:github.com/geffy/tffm
(4)alphaFM:github.com/CastellanZha
(5)Spark-FM:github.com/zhengruifeng -
深入理解推荐系统:召回 很全面的介绍了召回技术
(1)基于内容:优缺点、倒排优化、触发key的优化、多维度内容属性
(2)协同过滤:user-based、item-based、model-based(最主流,含矩阵分解、关联算法、聚类算法、DL、GNN)
(3)基于FM模型:召回过程、MF与FM
(4)基于深度学习:softmaxDNN、DNN与矩阵分解、softmax训练
(5)16-20年的召回模型:Youtube DNN、DSSM、RNN、TDM深度树匹配召回 -
推荐系统模型发展简史:参考2022年paper:A Brief History of Recommender Systems
(1)1992-1998:信息过滤和检索到推荐增加销量,提出MovieLens数据集
(2)2005年之前:协同过滤技术主导,2007年第一节RecSys会议
(3)2006-2009:矩阵分解家族
(4)2010之后,SVM、FMs
(5)2016年以来:Wide&Deep和DeepFM、DIN和DIEN、YouTubeDNN和correct-sfx、DCN和DCN V2、FNN、PNN、NeuralCF、NFM、CVAE
- 推荐系统中的 Bias 与 Debias 2020年的一篇野生survey
- 2022年一篇重排阶段的Review Neural Re-ranking in Multi-stage Recommender Systems: A Review
- 非常全面的推荐系统综述和重要论文(不断更新中):https://github.com/hongleizhang/RSPapers
论文
近几年的顶会论文
- RecSys2022:①研究主题包括公平性、Bias、冷启动、对话推荐、隐私安全,②研究任务包括序列化推荐、捆绑推荐等,③研究技术包括MF的改进(联邦分解)、FM的改进(双注意力高阶因子分解机),结合NLP、对抗学习、RL、联邦学习、自监督学习等
- AAAI 2021:序列推荐/会话推荐/下一个项目推荐,技术结合 RL、Meta用于冷启、attention用于应用、Bert提高性能
- SIGIR2021:Collaborative Filtering、Privacy&Security in RS、Sequential RS、Graph-based RS、Explainable RS、Conversational RS、News RS、Social RS、Cross-domain RS、Attention based RS、Fair RS
- WWW 2021:推荐中的冷启动问题、基于GNN的推荐、社会化推荐、可解释性推荐、基于位置的推荐、基于评论的推荐、序列化推荐以及基于知识图谱的推荐系统等
- WWW 2022:时序、图、可解释性、bias、因果相关、公平性与隐私保护、RL、冷启动、自编码、跨领域、多任务、对比学习
- IJCAI 2022:协同过滤、联邦推荐、离散推荐、对比学习、图、自监督
- RecSys2020:序列推荐、可解释性、无偏和公平、多智能体强化学习
- RecSys 2021:Bias、冷启动、对话推荐、隐私与安全、多模态推荐、可解释性与会话