前面两章主要讲解了完全分布式的搭建，这章主要讲解服务器单机完成伪分布的搭建,介绍Hadoop配置，启动，以及简单测试。我的机器:阿里云服务器，64位，Java64，Hadoop2.4.1（64）...
分类：
其他好文 时间：
2016-05-12 22:48:12
阅读次数：
221
环境准备 1.1 操作系统：CentOS 6.5 1.2 集群主机： vi /etc/hosts HostName IP Purpose 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 ...
分类：
其他好文 时间：
2016-05-03 20:10:14
阅读次数：
202
一、Sqoop介绍Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。Sqoop目前已经是Apache的顶级项目了，目前版本..
分类：
其他好文 时间：
2016-04-23 15:05:32
阅读次数：
193
常用Hadoop命令：hadoopdfs-mkdir/tmp/input在HDFS上新建文件夹hadoopdfs-putinput1.txt/tmp/input把本地文件input1.txt传到HDFS的/tmp/input目录下Hadoopdfs-getinput1.txt/tmp/input/input1.txt把HDFS文件拉到本地hadoopdfs-ls/tmp/output列出HDFS的某目录hadoopdfs-cat/tmp/..
分类：
其他好文 时间：
2016-04-23 07:46:25
阅读次数：
253
一、配置虚拟机三台1.网络配置虚拟化软件：VmwareWorkstations10.7zLinux系统：Centos6.5-x86_64采用4台安装Linux环境的机器来构建一个小规模的分布式集群。集群机器详细信息1.虚拟化的网络配置方式：桥接网络2.IP地址设置为固定IP地址3.主机名配置,需要修改一下地方（1）配置v..
分类：
其他好文 时间：
2016-04-23 07:44:52
阅读次数：
272
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
<description>缺省文件服务的协议和NS逻辑名称，和hdfs-site里的对应此配置替代了1.0里的
fs.default.name，ns1与
hdfs-site.xml中的dfs.nameservices配置项对应</des..
分类：
其他好文 时间：
2016-04-16 19:35:54
阅读次数：
141
安装JDK安装Hadoop配置环境变量配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置slaves安装JDKcd/usr/local/srcwgethttp://download.oracle.com/otn-pub/java/jdk/8u73-b02/jdk-8u73-linux-x64.tar.gz?AuthParam=1458008151_64a44ef61864b914ee2cb..
分类：
其他好文 时间：
2016-04-08 15:35:55
阅读次数：
175
1. 通过VMware Workstation安装一台Ubuntu操作系统的虚拟机（Master.Hadoop） 2. 配置虚拟机IP地址和Hostname 2.1 配置IP： root@Master:~# cat /etc/network/interfaces # This file descri ...
分类：
其他好文 时间：
2016-04-08 14:59:26
阅读次数：
244
配置Master无密码登录所有Salve 1、所有节点创建hadoop用户，并设置密码 以root账号登录: useradd hadoop passwd hadoop 2、设置Master节点用hadoop账号免密码登录本机 以hadoop账号登录，执行以下命令： ssh-keygen –t rsa
分类：
其他好文 时间：
2016-03-17 01:54:17
阅读次数：
886
修改JOB作业配置 Configuration conf = new Configuration(); conf.set( "mapreduce.task.timeout", "12000000"); conf.set( "mapreduce.reduce.memory.mb", "2048");
分类：
其他好文 时间：
2016-03-07 15:03:57
阅读次数：
149
