任何一个复杂的软件系统，为了提高其适应性和扩展性，一般都会有一个配置模块或者配置系统，作完成其扩展、定制的手段和方式。1.1. Windows的配置文件（第一次知道这事啊）：采用的是ini后缀的文本文件，可通过动态链接库提供方法进行处理。初始化文件或profile概要文件1.2. Java配置文件：...
分类：
其他好文 时间：
2014-07-16 23:31:06
阅读次数：
340
我是用的maven，至少要移出如下的jar包：org.apache.hadoophadoop-core1.0.4jackson-mapper-aslorg.codehaus.jacksonjsp-api-2.1org.mortbay.jettyjsp-2.1org.mortbay.jettyjasp...
分类：
Web程序 时间：
2014-07-10 00:19:29
阅读次数：
267
InputFormat主要用于描述输入数据的格式(我们只分析新API，即org.apache.hadoop.mapreduce.lib.input.InputFormat)，提供以下两个功能： (1)数据切分：按照某个策略将输入数据切分成若干个split，以便确定MapTask个数以及对应的s...
分类：
其他好文 时间：
2014-07-09 23:49:37
阅读次数：
487
7月2号晚20:30-22:30 东大博士Dasight分享主题《大数据与Hadoop漫谈》
7月5号晚20:30-22:30 原支付宝MySQL首席DBA分享主题《MySQL发展趋势,MySQL各个分支介绍》、《MySQL 5.6版本特性介绍及如何从MySQL 5.5向MySQL
5.6》
7月10号晚20:30-22:30 东大博士Dasight分享主题《Hadoop与Nosql技术的适用性分析》
7月12号晚20:30-22:30 原支付宝MySQL首席DBA分享主题《1000+MySQ...
分类：
数据库 时间：
2014-06-30 08:40:53
阅读次数：
315
前言
在做需求时，经常遇到多个目录，也就是多个维度进行join，这里分析一下，数据是怎么流动的。
1、多目录输入
使用MultipleInputs.addInputPath() 对多目录制定格式和map
2、数据流分析
map按行读入数据，需要对不同的输入目录，打上不同的标记（这个方法又叫reduce端连接），map在输出后会进行partition和sort，按照key进行排序，然后输...
分类：
其他好文 时间：
2014-06-29 23:09:07
阅读次数：
348
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的.....
分类：
其他好文 时间：
2014-06-29 19:20:17
阅读次数：
252
HBase是依赖Hadoop的数据存储系统，可以实现大数据(过亿条记录)的存储，进行并行化处理。在特定的场景下HBase有自己的用武之地。下面讲述如何进行伪分布模式安装1.设置环境变量我使用的HBase版本是hbase-0.94.7-security.tar.gz，安装在机器hadoop0的/usr...
分类：
其他好文 时间：
2014-06-28 09:46:59
阅读次数：
266
选择传智播客九大理由：
1 有实力不怕炫，我们就爱那个是出书出开源项目
2 引领新技术，让我们学员走在别人最前面，首家推出Hadoop，Unity3D，Nginx。
3 课程知识面广，技术讲解深入易懂，让我们学员不仅会做，还能明白其中原理。
4 培养学员自己解决问题的能力，拒绝成为“只会点击控件”的工具使用者。
5 终结“行尸走肉”的生活，带您走上“积极向上，充满理想”的人生道路。
6...
分类：
其他好文 时间：
2014-06-28 09:02:34
阅读次数：
202
core-site.xml
name
value
Description
fs.default.name
hdfs://hadoopmaster:9000
定义HadoopMaster的URI和端口
fs.checkpoint.dir
/opt/data/hadoop1/hdfs/namesecondar...
分类：
其他好文 时间：
2014-06-28 08:42:16
阅读次数：
285
引言
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件...
分类：
其他好文 时间：
2014-06-28 07:48:49
阅读次数：
253
