一.简介 参考博客:https://www.cnblogs.com/yszd/p/10186556.html 二.代码实现 三.结果 随机生成的顶点数据: 聚合结果: ...
分类:
其他好文 时间:
2019-10-23 16:47:20
阅读次数:
126
SQL查询语句 视图 索引 性能 四大范式+BFN范式 OLAP OLTP 写放大,读放大,磁盘放大 levelDB LSM树 缓存跳表 快照功能 immutable table 布隆过滤器 RocksDB column-familyMultithread compaction Single del ...
分类:
数据库 时间:
2019-10-18 12:26:05
阅读次数:
105
一.简介 参考:https://www.cnblogs.com/yszd/p/10186556.html 二.代码实现 三.结果 1.三元组视图 2.顶点 3.边 4.各顶点的度 5.三元组视图 6.边/顶点数量 四.源码分析 ...
分类:
其他好文 时间:
2019-10-04 13:15:13
阅读次数:
188
一、使用graph做好友推荐 测试数据 陌上花开 旧事酒浓 多情汉子 APP爱奇艺:10 BS龙德广场:8 多情汉子 满心闯 K韩剧:20 满心闯 喜欢不是爱 不是唯一 APP爱奇艺:10 装逼卖萌无所不能 K欧莱雅面膜:5 计算结果数据 (-397860375,(List(喜欢不是爱, 不是唯一, ...
分类:
其他好文 时间:
2019-09-19 21:38:47
阅读次数:
110
Spark GraphX图形数据分析 图(Graph)的基本概念 图是由顶点集合(vertex)及顶点间的关系集合(边edge)组成的一种网状数据结构 图数据很好的表达了数据之间的关系 处理的是有向图 图的术语-4 出度:指从当前顶点指向其他顶点的边的数量 入度:其他顶点指向当前顶点的边的数量 图的 ...
分类:
其他好文 时间:
2019-08-11 01:19:11
阅读次数:
201
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。 与 Hadoop 和 Storm 等其他大数据和 MapReduce 技术相比,Spark 有如下优势。 首先,Spark 为我们提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源 ...
分类:
其他好文 时间:
2019-06-12 11:09:43
阅读次数:
118
Spark GraphX 概述 1、Spark GraphX是什么? (1)Spark GraphX 是 Spark 的一个模块,主要用于进行以图为核心的计算还有分布式图的计算。 (2)GraphX 他的底层计算也是 RDD 计算,它和 RDD 共用一种存储形态,在展示形态上可以以数据集来表示,也可 ...
分类:
其他好文 时间:
2019-04-30 21:39:50
阅读次数:
141
第1章 Spark GraphX 概述1.1 什么是 Spark GraphX1.2 弹性分布式属性图1.3 运行图计算程序第2章 Spark GraphX 解析2.1 存储模式2.1.1 图存储模式2.1.2 GraphX 存储模式2.2 vertices、edges 以及 triplets2.2 ...
分类:
编程语言 时间:
2019-04-30 19:55:51
阅读次数:
162
研究大数据和数据挖掘的都知道,并行化算法研究是大数据领域一个较为重要的研究热点。近年来国内外开始关注在 Spark 平台上如何实现各种机器学习和数据挖掘并行化算法设计。Spark 提供了大量的库,包括SQL、DataFrames、MLlib、GraphX、Spark Streaming。 开发者可以 ...
分类:
其他好文 时间:
2019-04-20 09:58:04
阅读次数:
139
大数据指不用随机分析法这样捷径,而采用所有数据进行分析处理的方法。互联网时代每个企业每天都要产生庞大的数据,对数据进行储存,对有效的数据进行挖掘分析并应用需要依赖于大数据开发,大数据开发课程采用真实商业数据源并融合云计算+机器学习,让学员有实力入职一线互联网企业。 今天小编的技术分享详细学习大数据的 ...
分类:
其他好文 时间:
2018-09-14 13:14:29
阅读次数:
151