【错误原因】hadoop的core-site.xml配置错误 把用户名hadoop配置成了主机名hadoop01 <!-- OOZIE --><property> <name>hadoop.proxyuser.hadoop01.hosts</name> <value>*</value></prope ...
分类：
其他好文 时间：
2016-11-16 02:56:20
阅读次数：
416
单机运行 一、环境准备 Flume 1.6.0 Hadoop 2.6.0 Spark 1.6.0 Java version 1.8.0_73 Kafka 2.11-0.9.0.1 zookeeper 3.4.6 二、配置 spark和hadoop配置见（） kafka和zookeeper使用默认配置 ...
分类：
其他好文 时间：
2016-10-26 20:25:10
阅读次数：
295
1、在实际生产环境中为Hadoop配置无秘钥登录非常有必要 2、生成公钥与私钥 3、发送到节点(机器)上 4、测试一下 OK！ ...
分类：
其他好文 时间：
2016-10-14 17:08:00
阅读次数：
226
目录： 连接hadoop配置语法 配置hadoop连接 Pushdown配置 Create external tables for Azure blob storage 连接hadoop配置语法： global configuration settings for PolyBase Hadoop a ...
分类：
其他好文 时间：
2016-09-30 14:52:16
阅读次数：
231
Services:Haddoop cluster上可以部署的组件,比如HDFS，YARN，HBase等。 Roles:在service配置时，由Cloudera Manager创建。比如NameNode是HDFS service的一个role。 Role Group:对Role的管理，可以将相同类别 ...
分类：
系统相关 时间：
2016-09-30 01:41:06
阅读次数：
190
core-site.xml是全局配置；hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置；HDFS端口参数描述默认配置文件例子值fs.default.namenamenodeRPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.addressNameNodeweb管理端口50070hdfs-site.xml0.0.0.0:50070df..
分类：
其他好文 时间：
2016-09-19 22:52:44
阅读次数：
168
一、下载1.下载hadoop[root@master~]#cd/usr/local/src/[root@mastersrc]#wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz2.官网下载地址（可获最新）http://hadoop.apache.org/releases.html#Download二.安装1.解压[root@mastersrc]#tar..
分类：
其他好文 时间：
2016-09-18 21:34:36
阅读次数：
189
一、环境准备 1、系统环境 2台CentOS7服务器 2、软件环境 java-1.8.0-openjdk java-1.8.0-openjdk-devel Hadoop 2.7.3 二、Hadoop配置文件 Hadoop的配置文件： 只读的默认配置文件：core-default.xml, hdfs- ...
分类：
其他好文 时间：
2016-09-05 12:01:06
阅读次数：
145
<property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> <description>配置是否启动故障恢复，配置此项为true的时候，core-site.xml需要配置ha.zookeeper.quorum</description></property><prope..
分类：
其他好文 时间：
2016-09-02 00:58:23
阅读次数：
1799
1.通过修改实例模板程序来实现自己的map-reduce: 为了让示例程序run起来： 1）安装eclipse 2）安装map-reduce的eclipse插件 eclipse的map-reduce插件可以很方便的创建hadoop项目（自动导入所依赖的map-reduce jar包）和打开map-r ...
分类：
系统相关 时间：
2016-09-02 00:30:30
阅读次数：
211
