运行spark官方的graphx 示例 ComprehensiveExample.scala报错解决 在Idea中，直接运行ComprehensiveExample.scala，报需要指定master异常。 修改源码：指定master为local模式， 继续运行，报如下错误： com.google. ...
分类：
其他好文 时间：
2018-01-23 14:18:54
阅读次数：
104
==Spark的发展介绍== ==一个大一统的软件栈== Spark核心 行动操作 RDD Spark传递函数 常见的转化操作 ...
分类：
其他好文 时间：
2017-12-11 22:18:51
阅读次数：
200
package Spark_GraphX import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.graphx._ import org.apache.spark.graphx.util.GraphGener... ...
分类：
其他好文 时间：
2017-11-24 16:59:14
阅读次数：
204
Spark简介 Spark是一种快速、通用、可扩展的大数据分析引擎，目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。简单来说Spark是 内存迭代计 ...
分类：
其他好文 时间：
2017-10-29 15:17:07
阅读次数：
179
GraphX 是 Spark 中用于图形和图形并行计算的新组件。在高层次上， GraphX 通过引入一个新的图形抽象来扩展 Spark RDD ：一种具有附加到每个顶点和边缘的属性的定向多重图形。为了支持图形计算，GraphX 公开了一组基本运算符（例如： subgraph ，joinVertice... ...
分类：
Web程序 时间：
2017-09-26 21:19:11
阅读次数：
243
前段时间用graphX跑一个只有88M的小图，竟然给我报错说内存不够，我说怎么可能呢我可用内存可有2G呢 从网上东搞西搞一些解决方案，终于给我搞定了 其实原因是spark 的 java heap内存默认只给512M，有时候确实是不够用的，这时候只要改下{SPARK_HOME}/conf/spark- ...
分类：
其他好文 时间：
2017-08-18 12:31:15
阅读次数：
168
概念： Spark是加州大学伯克利分校AMP实验室，开发的通用内存并行计算框架。 支持用scala、java和Python等语言编写应用程序。相较于Hdoop，往往有更好的运行效率。 Spark包括了Spark Core, Spark SQL, SparkStreaming,MLlib和Graphx ...
分类：
其他好文 时间：
2017-08-15 21:04:27
阅读次数：
168
背景 本文给出了一个简单的计算图中每一个点的N度关系点集合的算法，也就是N跳关系。 之前通过官方文档学习和理解了一下GraphX的计算接口。 N度关系 目标： 在N轮里。找到某一个点的N度关系的点集合。 实现思路： 1. 准备好边数据集。即”1 3”, “4, 1” 这种点关系。使用GraphLoa ...
分类：
其他好文 时间：
2017-08-13 14:18:12
阅读次数：
191
graphx是如何实现Pregel迭代操作，我们应该如何使用该模型。先看下pregel接口源码： 接口中各参数的含义已在图中进行注释，所以此处不再赘述。简单介绍下源码中的参数说明： 剖析 pregel模型提供了消息收集方向、迭代次数、初始化消息、顶点函数、发送消息函数和合并消息函数；用户可根据自己的 ...
分类：
其他好文 时间：
2017-07-26 19:28:14
阅读次数：
199
