从《Hadoop权威指南》选取了一个小案例，在Hadoop集群环境中运行。1、新建JAVA类，保存书中源代码。[huser@master bin]$ vi
URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa...
分类：
其他好文 时间：
2014-05-14 03:52:36
阅读次数：
457
在2014年4月7日，Apache发布了Hadoop 2.4.0 。相比于hadoop 2.3.0，这个版本有了一定的改进，突出的变化可以总结为下列几点（官方文档说明）：
1 支持HDFS访问控制列表（ACL，Access Control Lists）
这个特性解决了在一定情况下，文件权限访问的权限问题。其机制是基于Linux文件访问权限的特征，如果你熟悉Linux的文件访问机...
分类：
其他好文 时间：
2014-05-13 09:03:36
阅读次数：
326
一个Hadoop集群拥有多个并行的计算机，用以存储和
Hadoop强调代码向数据迁移...
分类：
其他好文 时间：
2014-05-13 06:54:15
阅读次数：
366
安装HBase 0.94.6-cdh4.3.0
设定HBase的配置文件，由于安装的是cdh版，各版本直接匹配，互相依赖的jar包也都正确，只需要配置下hbase的环境变量和配置文件即可。
1.配置hbase-env.sh，添加JAVA_HOME环境变量
[html] view
plaincopy
export JAVA_HOME=/us...
分类：
其他好文 时间：
2014-05-12 22:36:14
阅读次数：
504
本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce
Cookbook》中的示例代码。1、安装AntAnt项目主页：http://ant.apache.org/下载二进制安装包，例如apache-ant-1.9.4-bin.tar.gz，上传到Hadoop集群环...
分类：
其他好文 时间：
2014-05-12 20:44:36
阅读次数：
398
Thrift 是什么？
Thrift源于大名鼎鼎的facebook之手，在2007年facebook提交Apache基金会将Thrift作为一个开源项目，对于当时的facebook来说创造thrift是为了解决facebook系统中各系统间大数据量的传
输通信以及系统之间语言环境不同需要跨平台的特性...
分类：
其他好文 时间：
2014-05-12 20:35:23
阅读次数：
296
import java.io.IOException;import
org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import
org.apache.hadoop.io.IntWritable;import...
分类：
其他好文 时间：
2014-05-12 19:55:27
阅读次数：
326
Web应用代理是YARN的一部分. 默认地，它会作为 Resource Manager(RM)的一部分来运行, 但是也可以配置成独立运行的模式。使用代理的原因就是降低通过YARN的web攻击的可能性。
在YARN中，Application Master(AM) 有责任提供web界面并把链接发给RM。这给一些可能的问题打开了大门。 RM 作为一个可信的用户在运行，访问那个web地址的用户会认...
分类：
Web程序 时间：
2014-05-11 20:27:52
阅读次数：
323
上一讲说到，各个特征（各个分量）对分类来说，其重要性当然是不同的。
舍去不重要的分量，这就是降维。
聚类变换认为：重要的分量就是能让变换后类内距离小的分量。
类内距离小，意味着抱团抱得紧。
但是，抱团抱得紧，真的就一定容易分类么？
如图1所示，根据聚类变换的原则，我们要留下方差小的分量，把方差大（波动大）的分量丢掉，所以两个椭圆都要向y轴投影，这样悲剧了，两个重叠在一起，根本...
分类：
其他好文 时间：
2014-05-11 20:17:34
阅读次数：
313
