Hadoop学习（二） Hadoop配置文件参数详解 Hadoop运行模式分为安全模式和非安全模式，在这里，我将讲述非安全模式下，主要配置文件的重要参数功能及作用，本文所使用的Hadoop版本为2.6.4。 etc/hadoop/core-site.xml 参数 属性值 解释 fs.defaultF ...
分类：
其他好文 时间：
2017-05-11 18:39:38
阅读次数：
284
最近在做hadoop上面的东西，今天跑一个kmeans算法，数据量是200W，运行到最后报错了， 最后在网上找到了答案，原来是hadoop配置的堆的空间太小，解决方法是在haoop-env.sh中加以修改 原本的配置是： export HADOOP_CLIENT_OPTS="-Xmx128m $HA ...
分类：
编程语言 时间：
2017-05-06 13:21:47
阅读次数：
141
hadoop配置文件 默认配置文件：四个模块相对应的jar包中：$HADOOP_HOME/share/hadoop *core-default.xml *hdfs-default.xml *yarn-default.xml *mapred-default.xml 用户自定义配置文件：$HADOOP_ ...
分类：
其他好文 时间：
2017-04-19 10:13:25
阅读次数：
215
1.关闭防火墙service iptables stop，（已经这是开机关闭的忽略） 2.进入hadoop目录，修改hadoop配置文件（4个） core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 3.开启服务 1.开始namenode ...
分类：
其他好文 时间：
2017-04-18 23:52:40
阅读次数：
340
安装配置hadoop: 1安装前的准备工作本示例所演示的过程基于RHEL5.8(32bit)平台，用到的应用程序如下所示。JDK:jdk-7u5-linux-i586.rpmHadoop：hadoop-0.20.2-cdh3u5.tar.gz安全起见，运行Hadoop需要以普通用户的身份进行，因此，接下来先建立运行hadoop进程的用户hadoop并给其..
分类：
其他好文 时间：
2017-02-20 23:16:08
阅读次数：
245
总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。 1、环境，3台CentOS7，64位，Hadoop2.7.3需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十 ...
分类：
其他好文 时间：
2017-01-16 17:55:45
阅读次数：
248
Hadoop运行模式分为安全模式和非安全模式，在这里，我将讲述非安全模式下，主要配置文件的重要参数功能及作用，本文所使用的Hadoop版本为2.6.4。etc/hadoop/core-site.xml参数属性值解释fs.defaultFSNameNode URIhdfs://host:port/io... ...
分类：
其他好文 时间：
2016-12-28 20:52:50
阅读次数：
1147
1.下载hadoop-2.7.2.tar.gz 2.解压到D:\hadoop\ 3.配置HADOOP_HOME环境变量 4.将%HADOOP_HOME%\bin目录添加到path环境变量中 5.配置JAVA_HOME环境变量，注意路径不要带空格 6.下载hadoop-common-bin工具包(注意 ...
官网文档：http://sqoop.apache.org/docs/1.99.7/user/CommandLineClient.html#delete-link-function 一、了解sqoop数据导入的几个重要概念 二、几个常用的重要命令 三、查看 查看服务器 查看版本 查看内置连接器 其他查 ...
分类：
其他好文 时间：
2016-12-19 13:40:37
阅读次数：
313
一、Hadoop配置安装注意：apache提供的hadoop-2.6.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意######如果你们..
分类：
Web程序 时间：
2016-11-21 20:51:10
阅读次数：
1139
