推荐系统：怎样实现内容相似推荐

很多产品想要加入推荐系统模块，最简单的就是做内容相似推荐，虽然技术简单但是效果却很好，对于增加用户粘性、提升用户留存有较多的效果，甚至很多产品后来加入了很多推荐模块之后，还是发现导流效果最好的依然是内容的相似推荐。

比如看完了一片《Python怎样读取MySQL》之后，在相似推荐中看到了一片题目为《Python操作MySQL的效果优化》的文章，很自然的就像多深入了解一下，于是就点进去看一看，那么对于整个网站来说，就会降低跳出率，增加用户的留存，是一个很好的用户体验。

实现一个内容相似推荐的方案比较简单，大体上包含以下步骤：

1、获取内容数据，比如标题、关键字、分类、甚至全文本；

一般文档、数据等内容都存储于mysql，可以使用python/java等语言直接读取mysql导出到文件.txt格式，或者直接用shell的mysql -e sql > data.txt的方式导出。

一般情况下，全文本内容太散，不会作为候选字段，但是有些视频之类的实体，因为标题和简介文字太少，如果有详情全文本的话，也可以加入候选数据字段。

2、对内容数据做中文分词；

如果是python语言，可以使用“结巴分词”，地址为：https://github.com/fxsjy/jieba

或者可以直接使用百度云的中文分词，百度的NLP自然语言处理技术还是很厉害的。

3、提取内容数据的关键词；

当分词之后，分词结果中包含很多“的”、“也”等无意义的词语，这些词语不能称之为关键词，一般会通过TF/IDF的方法计算每个词语的权重，将一个文档的所有词语的TF/IDF权重倒序排列，取TOPN个作为关键词；

如果使用的是jieba分词，那么直接就自带了提取关键词的支持；当然也可以自己计算，TF就是计算一篇文章中每个词语出现的次数、IDF就是这个词语在所有文章中出现的次数，TF除以IDF就是权重值；

4、将关键词映射成数字向量；

我们最终的目标是计算文档之间的相似度，要计算相似度那就需要把内容映射成向量，第一步就是先把每个词语映射成向量，映射的方式有几种：

一般情况下，自己的数据集比较小，效果会比业界的word2vec效果差一些，比如这里推荐腾讯开源的200维度全网word2vec向量，地址在：https://ai.tencent.com/ailab/nlp/embedding.html

5、计算文档粒度的数字向量；

得到每个词语的向量之后，通过加权平均的方式可以计算整个文档的向量；

权重可以使用每个词语的频率次数归一化，或者直接平均即可；

6、计算文档之间的相似度；

使用cosin算法就能够计算文档向量之间的相似度；

cosin算法很简单，java、python自己实现就可以，也可用https://scikit-learn.org或者http://surpriselib.com/中的相似度计算模块直接调用实现。

计算完之后，对于每个文档，将它跟每个文档的相似度做倒序排列，比如TOP 30个作为推荐的结果集合。

7、将文档的相似度关系存入mysql/redis等缓存；

第6步骤会得到一个这样的结果：(文档ID、相似文档ID列表)，将这样的数据直接存入mysql或者redis，key就是文档ID，value是相似文档ID列表即可。

8、当页面展示一个内容的时候，提取相似推荐进行展示；

当用户访问一个页面的时候，后端服务python/java从缓存redis或者mysql中根据展示的页面的文档ID，提取相似ID列表；

因为前几步骤是提前计算好的列表，这里也可能做一些过滤已下线的事情，然后根据ID提取对应的标题、简介等信息，组装成相似推荐列表返回给前端即可；

总结

以上就是离线计算相似推荐的步骤，其实还可以用在线的方式进行，把这个问题按照搜索的架构实现即可，新来一个文档就分词、计算关键词列表存储，然后每次访问的时候根据关键词列表查询相同关键词列表的文档也可以实现。

当相似内容推荐上线后，就能够不断积累一些用户点击、查看文档的行为数据，基于行为数据就能训练协同过滤的模型，实现内容不相似但是行为相似的协同过滤推荐。