由于从官网下载的hadoop中依赖包native hadoop
library是基于32位版本的，在64位机器上安装，会出现以下错误：2014-05-30 19:47:49,703 INFO
org.apache.hadoop.hdfs.server.datanode.DataNode: regis...
分类：
其他好文 时间：
2014-06-06 23:38:29
阅读次数：
494
这里介绍一下hadoop的组成，
hadoop主要由两部分组成，，一个是hdfs，还有一个是mapreduce这两个部分在hadoop
2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本号中有了一个新名字yarn.dfs 主要用来启动
nam...
分类：
其他好文 时间：
2014-06-06 19:27:24
阅读次数：
322
Ubuntu12.04-x64编译安装Hadoop2.2.0集群、Hadoop-Eclipse插件
分类：
其他好文 时间：
2014-06-06 14:08:15
阅读次数：
421
相比Java的MapReduce
api，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作，包括在MapReduce中被忽视的连接Join操作。Hadoop版本：2.2.0Pig...
分类：
其他好文 时间：
2014-06-05 20:08:13
阅读次数：
373
package
com.sogou.web.selector.updana.wapPc;import
org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import
org.apache.hadoop.io.Text...
分类：
其他好文 时间：
2014-06-05 19:23:04
阅读次数：
335
core-site.xml:fs.default.name:hdfs://hadoop:9000fs.tmp.dir:/usr/local/hadoop/tmphdfs-site.xml:dfs.name.dir:dfs.name.edits.dir:eidtsdfs.replication
分类：
其他好文 时间：
2014-06-04 14:40:40
阅读次数：
254
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库
1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_shenbin/article/details/7105319
2. HBase...
分类：
其他好文 时间：
2014-06-02 10:33:40
阅读次数：
277
hadoop yarn的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。...
分类：
其他好文 时间：
2014-06-02 02:27:16
阅读次数：
332
x86台式机，window7 64位系统
wmware虚拟机(x86的台式机至少是4G内存，才能开2台虚机)
centos6.4操作系统
hadoop-2.2.0.tar.gz
jdk-6u24-linux-i586.bin
WinScp 远程文件传输工具，很好用。可以用于windows和虚拟机Linux之间文件相互拷贝。...
分类：
其他好文 时间：
2014-06-02 02:23:23
阅读次数：
315
1 package cn.hadoop.fs; 2 3 import
java.io.IOException; 4 import java.io.InputStream; 5 import java.net.URI; 6
import java.net.URISyntaxExcept...
分类：
编程语言 时间：
2014-06-02 01:40:57
阅读次数：
398
