欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！ 使用HiveServer2运行时，启动好HiveServer后运行 修改hadoop 配置文件 etc/hadoop/core-site.xml,加 ...
分类：
其他好文 时间：
2018-03-13 22:49:29
阅读次数：
548
1.搭建完hadoop后，出现“Unhealthy Nodes”不安全的节点 解决方法：在/opt/modules/hadoop-2.5.0/logs路径下查看resourcemanager用户日志，找到对应原因 NodeManager from node bigdata-01(cmPort: 38 ...
分类：
其他好文 时间：
2018-01-07 20:07:32
阅读次数：
891
Hadoop配置 一、配置jdk 二、配置ssh及免密登录 三、上传hadoop2.6.4.tar.gz文件到linux1 四、创建安装目录，并把hadoop2.6.4.tar.gz文件解压到目录中 命令：tar -zxvf hadoop-2.6.4.tar.gz 我的解压目录：/root/app/ ...
分类：
其他好文 时间：
2017-12-25 18:19:41
阅读次数：
402
在ubuntu16.4下spark的单机/伪分布式配置我在此就不在一一赘述，详情请点击如下连接： Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 我出现问题是在配置好伪分布式的文件并且NameNode 的格式化正确我弄成后，在启动hdfs时出现如下错误： 此 ...
分类：
系统相关 时间：
2017-12-18 01:14:10
阅读次数：
188
1、 安装flumeflume安装，解压后修改flume_env.sh配置文件，指定java_home即可。cp hdfs jar包到flume lib目录下（否则无法抽取数据到hdfs上）：$ cp /opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6/share/hadoop... ...
分类：
Web程序 时间：
2017-11-26 11:09:58
阅读次数：
253
nutch+hadoop 配置使用 配置nutch+hadoop 1，下载nutch。如果不需要特别开发hadoop，则不需要下载hadoop。因为nutch里面带了hadoop core包以及相关配置 2，建立目录（根据自己喜好） /nutch ...
分类：
其他好文 时间：
2017-11-25 23:34:04
阅读次数：
153
前提准备： 1.hadoop安装运行正常。Hadoop安装配置请参考：Ubuntu下 Hadoop 1.2.1 配置安装 2.集成开发环境正常。集成开发环境配置请参考 ：Ubuntu 搭建Hadoop源码阅读环境 MapReduce编程实例： MapReduce编程实例（一）,详细介绍在集成环境中运 ...
分类：
其他好文 时间：
2017-11-08 11:52:56
阅读次数：
227
环境 ubuntu hadoop2.8.1 java1.8 1.配置java1.8 2.配置ssh免密登录 3.hadoop配置 环境变量 配置hadoop环境文件hadoop-env.sh core-site.xml mapred-site.xml hdfs-site.xml yarn-site. ...
分类：
系统相关 时间：
2017-10-28 23:55:26
阅读次数：
273
Hadoop运行模式分为安全模式和非安全模式，在这里，我将讲述非安全模式下，主要配置文件的重要参数功能及作用，本文所使用的Hadoop版本为2.6.4。 etc/hadoop/core-site.xml 参数 属性值 解释 fs.defaultFS NameNode URI hdfs://host: ...
分类：
其他好文 时间：
2017-10-25 11:33:14
阅读次数：
167
接上回，hadoop的配置文件都在下载的压缩包目录中的etc/hadoop/中 hadoop-env.sh有个地方配置java_home 其他常用的设置文件有： core-site.xml yarn-site.xml mapred-site.xml hdfs-site.xml 主机的hdfs-sit ...
分类：
其他好文 时间：
2017-10-24 00:11:24
阅读次数：
110
