目前实时或者是准实时的大数据模型越来越多，技术是否先进并非流行的首要原因，社区圈子的繁荣与否才是最重要的。主要有Redshift-亚马逊出品的一款MPP支持PB级别数据库Hive-基于hadoop 上面的SQL引擎，将sql翻译为Map-Reduce任务；Shark- 基于spark计算框架，与Hi...
分类：
其他好文 时间：
2015-01-15 20:08:35
阅读次数：
256
工欲善其事，必先利其器，啥都不说，hadoop下载：http://archive.cloudera.com/cdh5/cdh/5/ 选择好相应版本搞起
在本文讲述的是 围绕hadoop-2.3.0-cdh5.1.2版本安装过程。（安装环境为自己在VMWare 10里面搭建的三台linux 虚拟机）
1、hadoop 是大apache开源的分布式离线计算框架，语言：java，既然这样，要想搭建...
分类：
其他好文 时间：
2015-01-13 19:49:37
阅读次数：
340
该项目分析了目前主流分布式通讯相关开源产品中使用的No Schema序列化产品Kryo，Fastjson，Hessian的序列化机制，通过构造相对比较复杂的数据model，针对序列化size，序列化时间进行了细致测试。通过测试报告可以清晰的看出Kryo无疑是大赢家，无论是序列化大小，还是速度上都更胜一筹，这也就不难理解为什么Spark,Storm等流计算框架会选它作为序列化工具。另外，可以看出这三款软件在BitSet，EnumSet等特殊类型的序列化上还有不少问题，作者也给Kryo，Fastjson社区提了...
分类：
其他好文 时间：
2015-01-07 18:49:57
阅读次数：
151
1、什么是Spark？ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MadReduce所具有的优点；但不同于MapReduce的是Job中间输出的结果可以....
分类：
其他好文 时间：
2015-01-05 18:11:16
阅读次数：
323
简介:spark是一个内存计算框架,解决了mapreduce在迭代与交互方面的不足迭代:多轮算法计算形式,pagerank,逻辑回归等交互:实时数据,数据仓库查询等spark重要概念:RDD: 弹性分布式数据集,弹性(数据多节点分片)分布式(集群节点)数据集(默认加载至内存)操作:转换(transformation)rdd..
分类：
其他好文 时间：
2014-12-26 14:47:34
阅读次数：
186
“兵马未动，粮草先行”，要想深入的了解hadoop，我觉得启动或停止hadoop的脚本是必须要先了解的。说到底，hadoop就是一个分布式存储和计算框架，但是这个分布式环境是如何启动，管理的呢，我就带着大家先从脚本入手吧。说实话，hadoop的启动脚本写的真好，里面考虑的地方非常周全（比如说路径中有...
分类：
其他好文 时间：
2014-12-22 10:49:29
阅读次数：
265
了解hadoop，首先就需要先了解hadoop的数据流，就像了解servlet的生命周期似的。hadoop是一个分布式存储（hdfs）和分布式计算框架（mapreduce），但是hadoop也有一个很重要的特性：hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。术语 Ma...
分类：
其他好文 时间：
2014-12-22 10:46:04
阅读次数：
270
hadoop的核心分为两块，一是分布式存储系统-hdfs，这个我已经在上一章节大致讲了一下，另一个就是hadoop的计算框架-mapreduce。 mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。 其计算分为两个阶段，map阶段和reduce阶段，都是对数据的处.....
分类：
其他好文 时间：
2014-12-22 10:40:34
阅读次数：
238
一：课程简介：Hadoop是当下云计算大数据的王者。Hadoop不仅是一个大数据的计算框架，同时也是大数据的存储平台。使用Hadoop，用户可以在不了解分布式底层细节的情况下开发出分布式程序，从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储，而且Hadoop的运算和存储是可靠的、高效的、...
分类：
其他好文 时间：
2014-12-20 02:03:15
阅读次数：
235
1 Topology构成 和同样是计算框架的Mapreduce相比，Mapreduce集群上运行的是Job，而Storm集群上运行的是Topology。但是Job在运行结束之后会自行结束，Topology却只能被手动的kill掉，否则会一直运行下去。 Storm集群中有两种节点，一种是控制节点(Ni...
分类：
其他好文 时间：
2014-12-18 11:56:38
阅读次数：
180
