Storm的并行度详解
Storm的并行度是非常重要的，通过提高并行度可以提高storm程序的计算能力。
那strom是如何提高并行度的呢？
Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/bolt
task
task 是storm中进行计算的最小的运行单位，表示是spout或者b...
分类：
其他好文 时间：
2015-05-22 15:15:47
阅读次数：
116
HDFS作为一种新兴的并行文件系统，和现有的分布式文件系统相似，他们都是运行在普通硬件之上的分布式文件系统，然而HDFS与其他分布式文件系统也存在着一些差别。如HDFS具有高容错性，可以部署在低成本的硬件之上，同时放松了对POSIX的需求，使其可以以流的形式访问文件数据，非常适合大数据集的应用程序。分析研究HDFS与其他并行文件系统的相同点和不同点，能够深入了解HDFS系统的应用场景和设计理念。 ...
分类：
其他好文 时间：
2015-05-22 15:12:21
阅读次数：
107
接下来我们按照MapReduce过程中数据流动的顺序，来分解org.apache.hadoop.mapreduce.lib.*的相关内容，并介绍对应的基类的功能。首先是input部分，它实现了MapReduce的数据输入部分。类图如下：
类图的右上角是InputFormat，它描述了一个MapReduceJob的输入，通过InputFormat，Hadoop可以：
l ...
分类：
其他好文 时间：
2015-05-22 11:30:31
阅读次数：
150
接下来我们来分析Task的两个子类，MapTask和ReduceTask。MapTask的相关类图如下：MapTask其实不是很复杂，复杂的是支持MapTask工作的一些辅助类。MapTask的成员变量少，只有split和splitClass。我们知道，Map的输入是split，是原始数据的一个切分，这个切分由org.apache.hadoop..
分类：
其他好文 时间：
2015-05-21 19:57:41
阅读次数：
175
1.加法操作:+语法:A+B操作类型：所有数值类型说明：返回A与B相加的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。比如，int+int一般结果为int类型，而int+double一般结果为double类型举例：hive>select1+9fromlxw_dual;10hive>creat..
分类：
其他好文 时间：
2015-05-21 19:53:32
阅读次数：
195
Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理
1. ZooKeeper是否对ZNode有大小限制
如果你仔细看过ZooKeepe...
分类：
其他好文 时间：
2015-05-21 19:41:23
阅读次数：
157
HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，主要包括上述提出的两种文件类型：
1. HFile， HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile
2. HLog File，HBase中WAL（Write Ahead Log） 的存...
分类：
其他好文 时间：
2015-05-21 19:40:22
阅读次数：
250
1) InputFormatClass
com.cloudera.sqoop.mapreduce.db.DataDrivenDBInputFormat
2) OutputFormatClass1)TextFile
com.cloudera.sqoop.mapreduce.RawKeyTextOutputFormat
2)SequenceFile
org.apache.hado...
分类：
其他好文 时间：
2015-05-21 17:32:22
阅读次数：
386
超人学院浙大研究生Hadoop工作经验分享，分享在Hadoop大数据工作中的经验。请点击以下链接http://ke.qq.com/cgi-bin/courseDetail?course_id=69533更多精彩内容请关注：http://bbs.superwu.cn关注超人学院微信二维码：
分类：
其他好文 时间：
2015-05-20 18:44:45
阅读次数：
134
超人学院第七期学员，在超人学院学习Hadoop大数据高薪就业班课程，不到半个月，成功找到一份大数据的工作，实现了高薪转型，由原来的4.5K，变成了9.6K，恭喜这位学员。亲们，还等什么呢，赶快报名参加超人学院Had...
分类：
其他好文 时间：
2015-05-20 16:36:08
阅读次数：
187
