1.1 业务数据全部存储在datanode上面，所以datanode的存储空间必须足够大，且每个datanode的存储空间尽量保持一致。1.2 管理节点/namenode对存储空间要求不高，主要存储各计算节点datanode的元数据信息，以3个datanode为例，每个datanode存储2T的数据... ...
分类：
其他好文 时间：
2020-03-27 23:28:42
阅读次数：
150
原文链接： https://www.toutiao.com/i6772128429614563843/ 首先我们已经安装好sqoop了，如果没有安装好参考文档《快速搭建CDH-Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境》 准备一些基本的认识 1、sqoop分为 ...
分类：
其他好文 时间：
2020-03-21 00:07:30
阅读次数：
68
原文链接： https://www.toutiao.com/i6771763211927552523/ CDH简单了解 CDH: C：cloudera(公司) D：distribute H：Hadoop 解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题，不用自己编译, CDH适合商用 ...
分类：
其他好文 时间：
2020-03-21 00:07:13
阅读次数：
91
1、下载安装包 安装包下载地址： http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.2.tar.gz 将安装包上传到node01服务器/kkb/soft路径下，并进行解压 cd /kkb/soft/ tar -zxvf hbase- ...
分类：
其他好文 时间：
2020-03-18 13:55:31
阅读次数：
70
发现最近很多人关注CDH版本更新的问题，CDH6更新有一年多的时间了，2019年2月19日，迭代的版本为CDH6.1.1，现在CDH最新的版本已经到CDH6.3.3了。为了方便比较，本文内容主要基于CDH5.16.1和CDH6.1.1进行说明。
分类：
其他好文 时间：
2020-03-10 23:36:12
阅读次数：
95
发现最近很多人关注CDH版本更新的问题，CDH6更新有一年多的时间了，2019年2月19日，迭代的版本为CDH6.1.1，现在CDH最新的版本已经到CDH6.3.3了。为了方便比较，本文内容主要基于CDH5.16.1和CDH6.1.1进行说明。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于CDH6，而CDH5会慢慢的停止更新，所以考
分类：
其他好文 时间：
2020-03-10 12:04:30
阅读次数：
53
Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 Zookeeper: 218 ...
分类：
Web程序 时间：
2020-03-03 01:09:01
阅读次数：
118
```YAML#=========================== Filebeat prospectors =============================filebeat.prospectors:- type: log #指定文件的输入类型log(默认)或者stdin。 enabl... ...
分类：
其他好文 时间：
2020-02-23 15:02:30
阅读次数：
83
#!/bin/bash #hadoop export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH rea ...
分类：
其他好文 时间：
2020-02-22 00:34:00
阅读次数：
95
背景最近在帮公司下线离线计算集群的机器，逐台decomiss，下到第四台机器时，cdh告警来了，丢失块大于集群的1%，算了一下集群有400多台，下线一台不应该告警，以为下线步骤有问题，点了中止下线，后来看了下其实步骤是没问题的，由于下线的机器配置比较好，所以确实这台机器上存储了集群1%以上的block，于是终止了datanode的decomission，但是集群还是出现了14个missingblo
分类：
其他好文 时间：
2020-02-20 10:27:00
阅读次数：
237
