经典教程|基于SparkGraphX实现微博二度关系推荐导读：图计算是近几年大数据领域非常受关注的热点，社交网络中的好友关系推荐是一种典型图计算场景，本文是微博关系项目团队在二度关系计算中的一些实践，供高可用架构读者参考，作者为王舜、蒋生武、田瑞林。关系计算问题描述二度关系是指用户与用户通过关注者为桥梁发现到的关注者之间的关系。目前微博通过二度关系实现了潜在用户的推荐。用户的一度关系包含了关注、好
分类：
其他好文 时间：
2020-11-07 17:07:30
阅读次数：
27
和 hadoop 一样，Spark 提供了一个 Map/Reduce API(分布式计算)和分布式存储。二者主要的不同点是，Spark 在集群的内存中保存数据，而 Hadoop 在集群的磁盘中存储数据。 本文选自《SparkGraphX实战》。 大数据对一些数据科学团队来说是 主要的挑战，因为在要求 ...
分类：
其他好文 时间：
2018-08-06 15:22:43
阅读次数：
137
DMP用户画像系统（SparkGraphXSparkCoreSparkSQL）课程观看地址：http://www.xuetuwuyou.com/course/221课程出自学途无忧网：http://www.xuetuwuyou.comDMP系统用户画像也称人物角色，是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型，即真实用户..
分类：
数据库 时间：
2017-10-18 11:19:59
阅读次数：
321
引言：在多台机器上分布数据以及处理数据是Spark的核心能力，即我们所说的大规模的数据集处理。为了充分利用Spark特性，应该考虑一些调优技术。本文每一小节都是关于调优技术的，并给出了如何实现调优的必要步骤。本文选自《SparkGraphX实战》。1用缓存和持久化来加速Spark我们..
分类：
其他好文 时间：
2017-04-21 21:49:39
阅读次数：
250
引言：和Hadoop一样，Spark提供了一个Map/ReduceAPI（分布式计算）和分布式存储。二者主要的不同点是，Spark在集群的内存中保存数据，而Hadoop在集群的磁盘中存储数据。本文选自《SparkGraphX实战》。大数据对一些数据科学团队来说是主要的挑战，因为在要求的可扩展性方面单机..
分类：
其他好文 时间：
2017-04-12 22:16:52
阅读次数：
171
SparkGraphx图计算案例实战之aggregateMessages求社交网络中的最大年纪追求者和平均年纪！SparkGraphx提供了mapReduceTriplets来对图进行聚合计算，但是1.2以后不再推荐使用，源代码如下：@deprecated("useaggregateMessages","1.2.0")
defmapReduceTriplets[A:ClassTag](
mapF..
分类：
其他好文 时间：
2016-11-17 21:25:37
阅读次数：
451
