TheBig Data Zoneis presented bySplunk, the maker of
data analysis solutions such asHunk, an analytics tool for Hadoop, and theSplunk
Web Framework.Liv...
分类：
其他好文 时间：
2014-05-08 19:31:55
阅读次数：
596
默认情况下，hive的元数据信息存储在内置的Derby数据中。Facebook将hive元数据存储在关系数据库1、安装好mysql ，sudo apt-get
install mysql-server2、创建mysql用户hadoop $mysql-uroot-p 进入root用户 mysql>.....
分类：
数据库 时间：
2014-05-07 20:40:00
阅读次数：
554
集群安装配置Hadoop
集群节点：node4、node5、node6、node7、node8。具体架构：
node4
Namenode,secondnamenode,jobtracker
node5
Datanode,tasktracker
node6
Datanode,tasktracker...
分类：
其他好文 时间：
2014-05-07 02:52:47
阅读次数：
361
老是报物理内存越界，kill
container，然后把yarn.scheduler.minimum-allocation-mb设成2048就好了跟这个yarn.nodemanager.pmem-check-enabled参数应该也有关系在这篇文章中得到启发：http://bise.aliapp.c...
分类：
其他好文 时间：
2014-05-07 02:15:35
阅读次数：
409
import java.io.IOException;import
java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import
org.apache.hadoop.fs.Path;import org.ap...
分类：
其他好文 时间：
2014-05-07 01:06:02
阅读次数：
271
参考书籍： Hadoop in action, 吴超沉思录1.Hbase简介
1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5.
sqoop提供Hbase到关系型数据库中数据导入功能 ...
分类：
其他好文 时间：
2014-05-07 00:35:59
阅读次数：
424
mapreduce数据本地化（核心特征）、无共享。
1 HDFS的设计
为了存储超大文件 流式访问（一次写入多次读取）商用硬件（不需要超豪华的机器）
2 数据快（block）
磁盘一般是512字节 HDFS默认是64M 但与其他文件系统不同的是小于一个块大小的文件不会占用整个块的空间。块为什么设置这么大？（最小化寻址开销）块抽象带来的好处（一个文件的...
分类：
其他好文 时间：
2014-05-06 23:26:24
阅读次数：
519
平衡算法设计的好坏直接决定了集群在负载均衡上的表现，设计不好的算法，会导致集群的负载失衡。一般的平衡算法主要任务是决定如何选择下一个集群节点，然后将新的服务请求转发给它。有些简单平衡方法可以独立使用，有些必须和其它简单或高级方法组合使用。而一个好的负载均衡算法也并不是万能的，它一般只在某些特殊的应用环境下才能发挥最大效用。因此在考察负载均衡算法的同时，也要注意算法本身的适用面，并在采取集群部署的时...
分类：
其他好文 时间：
2014-05-06 22:27:27
阅读次数：
295
马哥课程的学习任务：RHCE+RHCA+shell编程+MySQL+Web集群+NoSQL+Hadoop+Hbase+Openstack。1基础（RHCE):RH033RH133RH2532RHCA:RH401RH423(LDAP)RH442(系统调优）RH436RHS3333MySQL4NoSQL5系统工程师：是指具备较高专业技术水平，能够分析商业需求，并使用各种系统平台和服务器..
分类：
系统相关 时间：
2014-05-06 17:15:49
阅读次数：
479
