版本号：cdh5.0.0+hadoop2.3.0+hive0.12一、原始数据：1. 本地数据[root@node33 data]# ll total 12936 -rw-r--r--. 1 root root 13245467 May 1 17:08 hbase-data.csv [root@no ...
分类：
其他好文 时间：
2019-05-13 10:45:05
阅读次数：
113
Hadoop安装： 首先到官方下载官网的hadoop2.7.7,链接如下 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 找网盘的hadooponwindows-master.zip 链接如下 https://pan.baidu. ...
一、说明 本次配置基于上一篇博客《Hadoop完全分布式搭建全过程》做补充，基于完全分布式做高可用搭建。。。。。。 二、原理 Hadoop1.X中只有一个NameNode，所有元数据信息都被这个NameNode管理，存在两个问题：单点故障和内存压力大，所以在Hadoop2.X中对两个存在的问题分别有 ...
分类：
其他好文 时间：
2019-05-06 18:46:55
阅读次数：
132
/home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh 启动后执行jps命令，主节点上有Master进程，其他子节点上有Work进行，登录Spark管理界面查看集群状态（主节点）：http://master01:8080/ 到 ...
分类：
数据库 时间：
2019-05-01 13:44:43
阅读次数：
175
hdfs的副本的配置修改hdfs-site.xml文件<property><name>dfs.namenode.secondary.http-address</name><value>hd-02:50090</value></property>需要同步到其它机器：scp hdfs-site.xml ...
分类：
其他好文 时间：
2019-05-01 13:27:16
阅读次数：
149
本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdfs-default.xml mapred-default.xml 说明： 在hadoop2中有些参数名称过时了，例 ...
分类：
其他好文 时间：
2019-04-30 23:44:35
阅读次数：
195
前提条件： 成功安装了 jdk1.8, hadoop2.7.3 注意条件： zookeeper,hbase 版本必须要和hadoop 安装版本相互兼容，否则容易出问题； 本次：安装包 zookeeper-3.4.9.tar.gz 和 hbase-1.2.4-bin.tar.gz zookeeper ...
分类：
其他好文 时间：
2019-04-07 18:08:38
阅读次数：
245
目录 HDFS 是做什么的 HDFS 从何而来 为什么选择 HDFS 存储数据 HDFS 如何存储数据 HDFS 如何读取文件 HDFS 如何写入文件 HDFS 副本存放策略 Hadoop2.x新特性 HDFS 是做什么的 HDFS 从何而来 为什么选择 HDFS 存储数据 HDFS 如何存储数据 ...
分类：
其他好文 时间：
2019-04-01 15:44:42
阅读次数：
172
一.Client模式 提交命令： ./spark-submit --master yarn --class org.apache.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.7.3.jar 1000 ./spark-submit --ma ...
分类：
其他好文 时间：
2019-03-31 18:09:12
阅读次数：
169
用来测试，我在VMware下用Centos7搭起一个三节点的Hadoop完全分布式集群。其中NameNode和DataNode在同一台机器上，如果有条件建议大家把NameNode单独放在一台机器上，因为NameNode是集群的核心承载压力是很大的。hadoop版本：Hadoop-2.7.4； had ...
分类：
其他好文 时间：
2019-03-31 13:35:26
阅读次数：
201
