1. Motivation2. MapReduceMapReduce是一种数据密集型并行计算框架。待处理数据以“块”为单位存储在集群机器文件系统中（HDFS），并以(key, value)的键值对形式保存。当任务启动时，系统将计算任务分配给存储数据的相应机器。MapReduce计算任务可以划分为两个...
分类：
其他好文 时间：
2014-07-28 15:16:13
阅读次数：
202
-- 向数据表中加载文件，不会对数据进行任何转换，load操作只是复制（本地到hdfs）、移动(hdfs上的文件)-- 如果表包含分区，则必须指定每个分区的分区名，filepath可以引用一个文件或一个目录-- 如果数据在hdfs上，且filepath不是绝对的，则hive会相对于/user/进行解...
分类：
其他好文 时间：
2014-07-28 15:06:33
阅读次数：
210
1.XML框架结构Java SE 6 平台提供的 XML 处理主要包括两个功能：XML 处理（JAXP，Java Architecture XML Processing）和 XML 绑定（JAXB，Java Architecture XML Binding）。JAXP 包括 SAX 框架 —— 遍历...
分类：
编程语言 时间：
2014-07-28 14:50:23
阅读次数：
232
create database logs;use logscreate table weblogs_from_hdfs(md5varchar(32),urlvarchar(64),request_datedate,request_timetime,ipvarchar(15));sqoop expor...
分类：
数据库 时间：
2014-07-28 14:47:33
阅读次数：
387
在一切环境就绪了，当然就要开始了解框架了。 站在巨人的肩膀上，学东西会事半功倍。我在网上找到一篇好文章，正好可以让我轻松了解Laravel应用程序的体系结构。因此借来直接用了。 该章节内容翻译自《Architecture of Laravel Applications》，一切版权为原作者，由于原.....
分类：
其他好文 时间：
2014-07-28 13:52:20
阅读次数：
389
HDFS（GFS） Python实现实现了HDFS的最基本的功能。具体的每一步的实现过程可以在这里看到https://github.com/DanielJyc/HDFS。每一个commit都可以执行，算是记录了自己的实现过程。总体的设计框图如下：总体设计操作：上传文件到HDFS：upload?fil...
分类：
编程语言 时间：
2014-07-27 10:11:12
阅读次数：
308
最近研究了下NameNodeHAAutomaticFailover方面的东西，当ActiveNN因为异常或其他原因不能正常提供服务时，处于Standby状态的NN就可以自动切换为Active状态，从而到达真正的高可用NNHAAutomaticFailover架构图为了实现自动切换，需要依赖ZooKeeper和ZKFC组件，ZooKeeper主要用来..
分类：
其他好文 时间：
2014-07-26 03:27:38
阅读次数：
392
从本地上传整个文件夹到hdfs的java程序...
分类：
编程语言 时间：
2014-07-26 03:04:06
阅读次数：
203
把程序打成jar包放到Linux上
转到目录下执行命令 hadoop jar mapreducer.jar /home/clq/export/java/count.jar hdfs://ubuntu:9000/out06/count/
上面一个是本地文件，一个是上传hdfs位置
成功后出现：打印出来，你所要打印的字符。
package com.clq.hdfs;
import java...
分类：
编程语言 时间：
2014-07-26 02:27:17
阅读次数：
270
1，关于网络规划部分,之前写的都好好的了,浏览器TM的崩溃了,我写几天的笔记 记录全给我丢了,我TM的多心疼啊!大致说了关于openstack手动安装关于网络规划的问题第一种legacy networking architecture design :controller(跑单网卡manageme....
分类：
其他好文 时间：
2014-07-25 13:56:31
阅读次数：
220
