2019-11-22 17:15:27,705 FATAL [IPC Server handler 13 on 44844] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Task: attempt_1574410493054_0011_m_00 ...
分类：
数据库 时间：
2019-11-23 17:52:36
阅读次数：
71
环境介绍 | tuge1 | tuge2 | tuge3 | tuge4 | | | : | | | | NameNode | NameNode | DataNode | DataNode | | ZooKeeper | ZooKeeper | ZooKeeper | ZooKeeper | | | ...
分类：
其他好文 时间：
2019-11-18 18:31:53
阅读次数：
80
1、 数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。 两阶段数据清洗： （1）第一阶段：把需要的信息从原始日志中提取出来 ip: 199.30.25.88 time: 10/Nov/2016:00:01:03 +0800 traffic: 62 文章： article/11325 ...
分类：
数据库 时间：
2019-11-14 00:02:19
阅读次数：
222
1、hadoop-env.sh配置，2、hdfs-site.xml配置文件，3、core-site.xml配置文件，4、mapred-site.xml配置，5、yarn-site.xml配置，6、slaves配置（DataNode）
分类：
其他好文 时间：
2019-11-09 23:32:30
阅读次数：
135
原因： /usr/local/hadoop/tmp/mapred 有锁 解决：修改改文件的权限 在终端输入： cd /usr/local/hadoop/tmp sudo chmod 777 mapred sudo chown -R msq mapred ...
分类：
其他好文 时间：
2019-11-04 21:58:29
阅读次数：
101
Apache Kylin 概述 https://www.cnblogs.com/xiaodf/p/11671095.html 1 Kylin是什么 今天，随着移动互联网、物联网、AI等技术的快速兴起，数据成为了所有这些技术背后最重要，也是最有价值的“资产”。如何从数据中获得有价值的信息？这个问题驱动 ...
分类：
Web程序 时间：
2019-10-20 21:35:59
阅读次数：
121
Hadoop伪分布式集群搭建总结一、所需软件VMware15!CentOS6.5JDK1.8Hadoop2.7.3二、安装注意：对文件进行编辑：输入a，表示对该文件进行编辑，最后保存该文件，操作为：点击键盘上的Esc按钮，然后输入英文的:字符，再输入wq，点击回车，完成文件的保存。1、关闭防火墙和禁用SELINUX（1）、永久关闭防火墙，重启Linux系统（2)、禁用SELINUX：修改文件参数重
分类：
其他好文 时间：
2019-10-12 10:52:33
阅读次数：
260
首先打开dfs与yarn。 主要就是三步走： 一、编写WordcountMapper 二、编写WordcountReducer 三、编写WordcountDriver 多数都是固定写法，会用即可！ 顺便一提：如果在集群上运行： 1.maven install 打包之前的java程序为jar文件并改名 ...
分类：
编程语言 时间：
2019-10-06 18:25:43
阅读次数：
90
一：自定义OutputFormat类MapReduce默认的OutPutFormat会将结果输出文件放置到一个我们指定的目录下，但如果想把输出文件根据某个条件，把满足不同条件的内容分别输出到不同的目录下， 就需要自定义实现OutputFormat类，且重写RecordWriter方法。在驱动类中设置 ...
分类：
其他好文 时间：
2019-09-27 15:13:24
阅读次数：
94
译 MongoDB高级查询用法 2018年09月04日 18:52:43 小小小辉happy 阅读数 752更多 分类专栏： 数据库 译 MongoDB高级查询用法 2018年09月04日 18:52:43 小小小辉happy 阅读数 752更多 分类专栏： 数据库 译 MongoDB高级查询用法 ...
分类：
数据库 时间：
2019-09-16 19:10:02
阅读次数：
153
