1、spark 部署
标签： spark
0 apache spark项目架构
spark SQL -- spark streaming -- MLlib -- GraphX
0.1 hadoop快速搭建，主要利用hdfs存储框架
下载hadoop-2.6.0，解压，到etc/hadoop/目录下
0.2 快速配置文件...
分类：
其他好文 时间：
2016-07-22 19:23:01
阅读次数：
629
简介 Husky是一个大数据分布式开发框架，用C++开发，因为粗粒度（coarse-grained）平台（如Spark，Hadoop，Flink）MR耗时太大，然后细粒度(fine-grained)平台（GraphX等）编程难度较大，同时细粒度在数据平台之间转移会很耗时。Husky就是在粗粒度和细粒 ...
分类：
系统相关 时间：
2016-07-14 01:18:28
阅读次数：
448
从spark框架的角度来说，spark包含了如下图所示的功能:
从最近spark发布的几个版本来看，GraphX一直没有大的变化，MLlib涉及大量的数学，spark sql则是涉及了大量的sql的优化，所以如果要从某一个子框架来彻底研究spark 那么，spark streaming子框架是最好的切入口。因为本身它就很像是spark core 的一个应用程序。2015年是流式处理的...
分类：
其他好文 时间：
2016-05-03 18:35:44
阅读次数：
155
本期内容： 1. Spark Streaming架构 2. Spark Streaming运行机制 Spark大数据分析框架的核心部件： spark Core、spark Streaming流计算、GraphX图计算、MLlib机器学习、Spark SQL、Tachyon文件系统、SparkR计算引 ...
分类：
其他好文 时间：
2016-05-03 17:37:53
阅读次数：
159
一.源码定制为什么从SparkStreaming切入？Spark一开始并没我们今天看到的SparkSQL,SparkStreaming,MLlib(machinelearning),GraphX(graph)，SparkR等相关内容,只有原始的SparkCore。SparkStreaming本身是SparkCore上的一个框架，透过一个框架的彻底研究肯定可以精通Spark力量的..
分类：
其他好文 时间：
2016-05-03 02:07:56
阅读次数：
212
原文链接：http://www.tuicool.com/articles/3MjURj “全世界的网络连接起来，英特纳雄耐尔就一定要实现。”受益于这个时代，互联网从小众的角落走到了历史的中心舞台。如果无远弗届的互联网将把会整个世界转化成了一个巨型网络，那么就让这一切首先从淘宝开始吧。 最近我们试图将 ...
分类：
其他好文 时间：
2016-03-30 20:54:33
阅读次数：
2286
一、Spark框架预览 主要有Core、GraphX、MLlib、Spark Streaming、Spark SQL等几部分。 GraphX是进行图计算与图挖掘，其中主流的图计算框架现在有：Pregal、HAMA、Giraph（这几部分采用超步即同步的方式），而GraphLab与Spark Grap
分类：
其他好文 时间：
2016-03-04 09:17:57
阅读次数：
391
原文链接：GraphX中Pregel单源点最短路径 GraphX中的单源点最短路径例子，使用的是类Pregel的方式。 核心部分是三个函数： 1.节点处理消息的函数 vprog: (VertexId, VD, A) => VD （节点id，节点属性，消息） => 节点属性 2.节点发送消息的函数 s
分类：
其他好文 时间：
2016-02-25 21:15:01
阅读次数：
219
2016 年1月1日 王老师课堂笔记和作业笔记：王老师主要讲解了spark的发展前景，spark在未来的几十年里必将一统大数据江湖。graphx,mllib,sparkSQL（1）scala语法的基础知识，重点为函数式编程思想。（2）spark源代码查看。作业描述：移除一个数组中第一个负数后的所有负...
分类：
编程语言 时间：
2016-01-02 14:03:27
阅读次数：
205
1 OverviewGraphX is a new component in Spark for graphs and graph-parallel computation. At a high level, GraphX extends the Spark RDD by introducing a...
分类：
其他好文 时间：
2015-11-26 15:13:07
阅读次数：
359
