码迷,mamicode.com
首页 > 其他好文 > 详细

搜索系统11:协同过滤的数据源和遗留问题

时间:2017-10-10 19:13:34      阅读:176      评论:0      收藏:0      [点我收藏+]

标签:用户   聚类算法   精度   需要   img   操作记录   不用   分享   协同过滤算法   

前一文中已经对推荐算法做了个简单的介绍,最常用的就是协同过滤,可分为基于用户的或者基于作品的。我以mahout对这两个算法进行了测试,发现只用这两个算法来完成推荐的工作,还远远不够。这两算法有以下问题待解决:

1.数据源的广度和精度。

算法需要大量的user_id,product_id,like_num(偏好度)这样的数据,而我们的实际系统并没有这样的数据,实际数据需要转化为这样的数据格式才能使用该算法。这就需要我们回答:我们用哪些实际数据来做转化?这就是数据源的广度。实际的数据如何转为like_num,这就是数据的精度问题。


2.推荐算法只能给一部分用户计算出推荐数据。

我的测试数据用户总数有8万多,而实际计算出的推荐数据的用户总数仅为6千多,也就是说只有8%的用户有推荐数据,92%的没有。


3.如何给那剩下92%的用户推荐?

这92%的用户是有实际操作记录的,那还是要计算这些数据关系,进而推荐。只是我们用不了上面的算法,要么自己写一个,要么改mahout协同过滤算法的实现!


4.如何给新用户(没有操作记录)做推荐?

这个可以做个兜底的数据,就是平台认识最好的。


整理一下思路:

技术分享

聚类算法有欧氏距离等,这个也可不用mahout来做,自己写就行。主要问题是单机太慢了。《mahout in action》在第7章开始讲聚类算法,不过hello world就用上了hadoop。要玩这个看来就得先把这个hello world运行起来,不玩hadoop不行了。


对于92%的未推荐用户还有一个解决办法,就是用浏览实时推荐。前面之所以没有把浏览记录做为mahout的数据来源,原因有两个。

1.浏览记录一般就是最近的有效,用户不会关心一个月或一年前看过的商品,他可能早忘了。
2.浏览数据特别太,会干扰推荐算法,并且让计算速度变慢。

所以把浏览记录做为实时推荐是一个很好的办法,但只有浏览记录是无法完成推荐的。用户看了A产品,必须在事前建立好A与B、E、F产品的关系,才能推荐出B、E、F产品来。

 

搜索系统11:协同过滤的数据源和遗留问题

标签:用户   聚类算法   精度   需要   img   操作记录   不用   分享   协同过滤算法   

原文地址:http://www.cnblogs.com/chengzhong/p/7647047.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!