本文是Spark调研笔记的最后一篇,以代码实例说明如何借助Spark平台高效地实现推荐系统CF算法中的物品相似度计算。
在推荐系统中,最经典的推荐算法无疑是协同过滤(Collaborative Filtering, CF),而item-cf又是CF算法中一个实现简单且效果不错的算法。
在item-cf算法中,最关键的步骤是计算物品之间的相似度。本文以代码实例来说明如何利用Spark平台快速计算...
分类:
其他好文 时间:
2015-06-10 15:47:17
阅读次数:
155
平台:linux(Shell)软件:Weka,SAS,Spss,R,IBM IM,Mathout语言:Java,Python,PHP,MapReduce编程,Ruby数据库:SQL,MySQL算法:数据挖掘算法,机器学习算法,搜索引擎(推荐算法,反作弊,排序)(备注:回归、决策树、SVM、朴素贝叶斯...
分类:
其他好文 时间:
2015-06-05 00:32:27
阅读次数:
168
在开源框架taste中有SlopOne的Java实现,效果不错。...
分类:
编程语言 时间:
2015-06-03 19:39:44
阅读次数:
127
网易云音乐的歌单推荐算法是怎样的?这就是amazon发明的“喜欢这个商品的人,也喜欢某某”算法。其核心是数学中的“多维空间中两个向量夹角的余弦公式”,当初我的确是被这算法惊艳到了。=============2014-12-01 更新 =============================不好意思...
分类:
编程语言 时间:
2015-05-29 09:45:34
阅读次数:
161
前言推荐系统并不是新鲜的事物,在很久之前就存在,但是推荐系统真正进入人们的视野,并且作为一个重要的模块存在于各个互联网公司,还是近几年的事情。随着互联网的深入发展,越来越多的信息在互联网上传播,产生了严重的信息过载。如果不采用一定的手段,用户很难从如此多的信息流中找到对自己有价值的信息。解决信息过载...
分类:
编程语言 时间:
2015-05-28 16:02:07
阅读次数:
327
曹鹏,2006年浙江大学计算机科学专业毕业,2013年中国科学院计算机技术研究所博士毕业。博士期间研究方向为社交网络与社会计算,曾经做过搜索、话题发现、社交网络方面、推荐算法等领域的相关研究。
曾为浙江大学、浙江省大学生程序设计竞赛的命题人,是hackerrank.com、hackerearth.com和csdn英雄会、CSDN高校编程挑战的命题人,也是PAT(Programming Abi...
分类:
其他好文 时间:
2015-05-25 10:04:14
阅读次数:
186
Slope one 是一个简单,效率较高的协同过滤推荐算法。
Slope One 算法是由 Daniel Lemire 教授在 2005 年提出.距今已经10年。
基于如下五点被设计出来:
1. 算法容易实现和维护
2. 对新的评分应该立即给予响应
3. 查询速度要快(虽然可能以牺牲存储量为代价)
4. 对新的用户也要能给出有效的推荐
5. 精度...
分类:
编程语言 时间:
2015-05-22 21:16:55
阅读次数:
153
本文目的:介绍一种常见推荐算法(用户协同过滤)的使用。应用场景:XXX项目运行一段时间后,系统中将会存在很多视频信息,而通常APP给用户推送的消息(1-3条/每天),那么这就需要我们根据用户的行为特征,进行更为有效的推送。工具介绍:mahout协同过滤算法的使用测试代码:/..
分类:
编程语言 时间:
2015-05-18 21:13:45
阅读次数:
181
想用机器学习的方法,那么思路其实也很明确,问题是那一天用户是买还是不买,那么可以看成是二分法。通过用户行为方式来判断是否会购买。就是把用户行为等抽象成特征向量得到训练集,扔进机器学习算法训练出一个模型,然后用测试集预测出结果。虽然机器学习的算法有不少,而且需要不断的调整参数和优化,但是我认为特征向量的选取才是最关键的,很显然我们到最后也没搞好~~~...
分类:
移动开发 时间:
2015-05-17 12:20:50
阅读次数:
155
推荐系统并不是新鲜的事物,在很久之前就存在,但是推荐系统真正进入人们的视野,并且作为一个重要的模块存在于各个互联网公司,还是近几年的事情。
随着互联网的深入发展,越来越多的信息在互联网上传播,产生了严重的信息过载。如果不采用一定的手段,用户很难从如此多的信息流中找到对自己有价值的信息。...
分类:
移动开发 时间:
2015-05-16 07:56:39
阅读次数:
1430