基于项目需求，想要实现Post消息推送，故采用HttpClient组件进行实现，相关代码如下(注：程序采用的httpclient和httpcore依赖包的版本为4.2.5)： Ps: 在使用Hadoop集群进行发送POST请求时，遇到"java.lang.NoSuchFieldError: INST ...
分类：
编程语言 时间：
2017-02-20 10:50:45
阅读次数：
231
下面是我在安装Hadoop的过程中遇到的一些问题总结，后续将会陆续一一添加，前车之鉴，希望大家今后遇到类似的问题可以避免。 问题1：hadoop 不在 sudoers 文件中。此事将被报告。 我的slave1和slave2都是直接克隆master的。所以直接使用hadoop用户名登陆ubuntu的系 ...
分类：
其他好文 时间：
2017-02-17 12:57:54
阅读次数：
147
Hadoop的简单使用 使用Hadoop提供的命令行，向文件系统中创建一个文件。 ./hadoop fs -put temp.txt hdfs://localhost:8888/ 说明： ./hadoop 是bin目录下 fs 表明对文件系统进行操作 -put 就是传输 temp.txt 是我要传输... ...
分类：
其他好文 时间：
2017-02-16 13:14:55
阅读次数：
157
1.使用hadoop账号解压到/opt/hadoop目录下： # su hadoop $ tar -zxvf hbase-${version} -C /opt/hadoop $ ln -s hbase-${version}/ hbase 2.进入/opt/hadoop/hbase/conf目录,修改 ...
分类：
系统相关 时间：
2017-02-13 22:01:34
阅读次数：
249
安装版本：3.0.7 安装机器：所有机器 安装过程： 1.使用hadoop账号解压到/opt/hadoop/目录下： $ tar -zxvf mongodb-${version}.tar.gz -C /opt/hadoop/ 2.设置软链接: $ ln -s /opt/hadoop/mongodb- ...
分类：
数据库 时间：
2017-02-13 21:39:11
阅读次数：
226
1、数据采集 使用Hadoop分析处理数据，需要装载大量从不同来源的数据到Hadoop集群。从不同来源大容量的数据加载到Hadoop，然后这个过程处理它，这具有一定的挑战。维护和确保数据的一致性，并确保资源的有效利用，选择正确的方法进行数据加载前有一些因素是要考虑的。 http://www.68dl ...
分类：
其他好文 时间：
2017-01-22 13:28:49
阅读次数：
210
什么是大数据 PB = 1024tb 7123913827189tb Reids 无共享 HDFS 优点 ：特别适合存储大型文件 TFS hdfs 架构 NameNode: 整个hadoop总管，只有一个，DataNode down了 存储为镜像文件fsimage 和edites secondary ...
分类：
编程语言 时间：
2016-12-29 16:21:32
阅读次数：
247
1. HDFS上的小文件问题小文件是指文件大小明显小于HDFS上块（block）大小（默认64MB）的文件。如果存储小文件，必定会有大量这样的小文件，否则你也不会使用Hadoop（If you’re ...
分类：
其他好文 时间：
2016-12-25 18:50:30
阅读次数：
924
Sqoop 的产生主要源于以下几种需求： 1、多数使用 Hadoop 技术处理大数据业务的企业，有大量的数据存储在传统的关系型数据库（RDBMS）中。 2、由于缺乏工具的支持，对 Hadoop 和 传统数据库系统中的数据进行相互传输是一件十分困难的事情。 3、基于前两个方面的考虑，亟需一个在 RDB ...
分类：
其他好文 时间：
2016-11-30 09:30:58
阅读次数：
252
最近在使用hadoop做apache日志分析，发现测试数据没问题，但数据一多就出问题，报 java.lang.StackOverflowError错误，最后定位为正则表达式栈溢出，发现某些行的日志数据长度超过了800，所以就会报这个错误， 最后的解决方案是把这一小部分数据舍去掉。 添加如下代码 St ...
分类：
编程语言 时间：
2016-11-29 11:40:17
阅读次数：
149
