本期内容 : Spark Streaming+Spark SQL案例展示 基于案例贯穿Spark Streaming的运行源码 一、 案例代码阐述 : 在线动态计算电商中不同类别中最热门的商品排名，例如:手机类别中最热门的三种手机、电视类别中最热门的三种电视等。 1、案例运行代码 : 2、案例流程框 ...
分类：
其他好文 时间：
2016-05-08 11:55:46
阅读次数：
275
SparkStreaming的Job到底是如何运行的，我们下面以一个例子来解析一下：packagecom.dt.spark.streaming
importcom.dt.spark.common.ConnectPool
importorg.apache.spark.SparkConf
importorg.apache.spark.streaming.{Seconds,StreamingContext}
/**
*以网站热词排名为例，..
分类：
其他好文 时间：
2016-05-07 16:49:15
阅读次数：
254
1.实战解析Spark运行原理
交互式查询（shell，sql）
批处理（机器学习，图计算）
首先，spark是基于内存的分布式高效计算框架，采用一栈式管理机制，同时支持流处理，实时交互式出，批处理三种方式，Spark特别支持迭代式计算，因此，他对机器学习，图计算具有较强的支持，为此他提供了机器学习和图计算接口。
（1）分布式：Distributed Computation
分布式多台机器...
分类：
其他好文 时间：
2016-05-07 08:02:27
阅读次数：
137
Spark是分布式计算框架，多台机器之间必然存在着通信。Spark在早期版本采用Akka实现。现在在Akka的上层抽象出了一个RpcEnv。RpcEnv负责管理机器之间的通信。RpcEnv包含了如下三大核心：RpcEndpoint消息循环体，负责接收并处理消息。Spark中的Master、Worker都是RpcEndpoint。Rp..
分类：
Web程序 时间：
2016-05-06 02:28:50
阅读次数：
4751
原文出处： 夏天的森林 开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么， ...
分类：
其他好文 时间：
2016-05-05 22:04:27
阅读次数：
317
Spark知识点IT十八掌课程体系SPARK知识点如下：有需要IT十八掌体系课程的可以加微信：152106399731.定义MapReduce-like集群计算框架设计的低延迟迭代和交互使用的工作。2.体系结构3.一些重要概念的解析(1)RDD(resilientdistributeddataset)弹性分布式数据集一个只读的，可分区..
分类：
其他好文 时间：
2016-05-04 19:33:59
阅读次数：
472
Apache YARN(Yet Another Resource Negotiator）是一个HADOOP集群资源管理系统。YARN在HADOOP2
中引入，但是它足够通用，也支持其它的分布式计算程序。
YARN提供了用于请求和使用集群资源的API，但是这些API不是直接由用户代码使用的。用户写更高级的由
分布式计算框架提供的API，这些框架是建立在YARN之上的，对用户隐藏...
分类：
其他好文 时间：
2016-04-22 20:52:22
阅读次数：
288
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架...
分类：
其他好文 时间：
2016-04-22 19:55:01
阅读次数：
129
MapReduce计算框架 一、MapReduce实现原理 图展示了MapReduce实现中的全部流程，处理步骤如下： 1、用户程序中的MapReduce函数库首先把输入文件分成M块(每块大小默认64M)，在集群上执行处理程序，见序号1 2、主控程序master分配Map任务和Reduce任务给工作 ...
分类：
其他好文 时间：
2016-04-18 18:56:06
阅读次数：
226
鉴于目前大数据Hadoop 2.x被企业广泛使用，在实际的企业项目中需要更加深入的灵活运用,并且Hadoop 2.x是大数据平台处理 的框架的基石，尤其在海量数据的存储HDFS、分布式资源管理和任务调度YARN及分布式计算框架MapReduce。然而当前众多书籍和 视频教程资料中,没有一套完整的、深 ...
分类：
其他好文 时间：
2016-04-12 07:09:48
阅读次数：
373
