收集：各种开源的分布式日志收集系统：Scribe， Flume等等存储可以同时包含各种不同的存储类型，可根据不同的需求增减相应的存储类型：底层存储：能够存储大量的数据，最好具有可扩展性 HDFS S3等等关系存储：MySQL，Postgresql等等键值存储：HBase，Redis等等计算计算能力也...
分类：
其他好文 时间：
2014-07-30 09:48:23
阅读次数：
213
WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /input/LICENSE.txt could only be replicated to 0 nodes, instead of 1
at org.apache...
分类：
其他好文 时间：
2014-07-29 18:13:22
阅读次数：
227
因为业务需要，需要将一批mysql数据导入到HBASE，现在先将数据从Mysql导出到HDFS。版本：hadoop CDH4.5，Hbase-0.946 1、实体类 YqBean 是我的实体类，请根据自己需要修改，实体类需要 implements Writable, DBWritable。 ...
分类：
数据库 时间：
2014-07-29 11:50:56
阅读次数：
292
1. Motivation2. MapReduceMapReduce是一种数据密集型并行计算框架。待处理数据以“块”为单位存储在集群机器文件系统中（HDFS），并以(key, value)的键值对形式保存。当任务启动时，系统将计算任务分配给存储数据的相应机器。MapReduce计算任务可以划分为两个...
分类：
其他好文 时间：
2014-07-28 15:16:13
阅读次数：
202
-- 向数据表中加载文件，不会对数据进行任何转换，load操作只是复制（本地到hdfs）、移动(hdfs上的文件)-- 如果表包含分区，则必须指定每个分区的分区名，filepath可以引用一个文件或一个目录-- 如果数据在hdfs上，且filepath不是绝对的，则hive会相对于/user/进行解...
分类：
其他好文 时间：
2014-07-28 15:06:33
阅读次数：
210
create database logs;use logscreate table weblogs_from_hdfs(md5varchar(32),urlvarchar(64),request_datedate,request_timetime,ipvarchar(15));sqoop expor...
分类：
数据库 时间：
2014-07-28 14:47:33
阅读次数：
387
HDFS（GFS） Python实现实现了HDFS的最基本的功能。具体的每一步的实现过程可以在这里看到https://github.com/DanielJyc/HDFS。每一个commit都可以执行，算是记录了自己的实现过程。总体的设计框图如下：总体设计操作：上传文件到HDFS：upload?fil...
分类：
编程语言 时间：
2014-07-27 10:11:12
阅读次数：
308
最近研究了下NameNodeHAAutomaticFailover方面的东西，当ActiveNN因为异常或其他原因不能正常提供服务时，处于Standby状态的NN就可以自动切换为Active状态，从而到达真正的高可用NNHAAutomaticFailover架构图为了实现自动切换，需要依赖ZooKeeper和ZKFC组件，ZooKeeper主要用来..
分类：
其他好文 时间：
2014-07-26 03:27:38
阅读次数：
392
从本地上传整个文件夹到hdfs的java程序...
分类：
编程语言 时间：
2014-07-26 03:04:06
阅读次数：
203
把程序打成jar包放到Linux上
转到目录下执行命令 hadoop jar mapreducer.jar /home/clq/export/java/count.jar hdfs://ubuntu:9000/out06/count/
上面一个是本地文件，一个是上传hdfs位置
成功后出现：打印出来，你所要打印的字符。
package com.clq.hdfs;
import java...
分类：
编程语言 时间：
2014-07-26 02:27:17
阅读次数：
270
