在DataNode的本地存储空间上，与存储服务密切相关的，比如创建数据块，恢复数据块，数据块校验等相关的代码都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代码版本CDH5.1)首先说下org.apache.hadoop.hdfs.server.datanode.fsdataset下的主要接口，FsDatasetSpi接..
分类：
其他好文 时间：
2014-11-12 12:01:17
阅读次数：
228
第一次安装出现了各种问题，尤其是对于不是太熟悉linux系统的更是头疼不已呀！特此记录一下，希望能够让小伙伴们少走点弯路。1.给机器添加路由 （根据自己的机器情况，可以忽略）route add -net 172.17.2.0 netmask 255.255.255.0 gw 192.168.0.1 ...
分类：
其他好文 时间：
2014-11-07 16:46:37
阅读次数：
478
1.DeployingSolrwithHuerestartHUEservice2.deleteoldexampleindexesfromHUE3.OnSolrServer:cd/opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hue/apps/search/examples/bin./create_collections.sh./post.sh4.createdashboardsforexampleindexesok
分类：
其他好文 时间：
2014-11-03 16:35:41
阅读次数：
251
测试集群简介：一共有4台机器：10.10.244.136、10.10.244.137、10.10.244.138、10.10.244.139。10.10.244.136是管理节点，另外3台是存储节点。准备工作详情如下：
1 在四台机器上安装CentOS release 6.5 (Final) 64位（管理节点需要安装Mysql\Postgresql\redhat_lsb）
2 CDH5.2（...
分类：
其他好文 时间：
2014-11-03 10:10:27
阅读次数：
133
环境：
hadoop-2.5.0-cdh5.2.0
mahout-0.9-cdh5.2.0
引言
虽然Mahout已经宣布不再继续基于Mapreduce开发，迁移到Spark，但是实际面临的情况是公司集群没有足够的内存支持Spark这只把内存当饭吃的猛兽，再加上项目进度的压力以及开发人员的技能现状，所以不得不继续使用Mahout一段时间。
今天记录...
分类：
编程语言 时间：
2014-10-24 16:36:02
阅读次数：
268
环境：
hadoop-2.5.0-cdh5.2.0
mahout-0.9-cdh5.2.0
步骤：
基本思路是，将mahout下的所有jar包都引入hadoop的classpath即可，所以修改了$HADOOP_HOME/etc/hadoop/hadoop-env.sh，添加如下代码将mahout的所有jar包引入hadoop的classpath：
f...
分类：
其他好文 时间：
2014-10-23 19:21:42
阅读次数：
317
hadoop jar hbase-server-0.98.1-cdh5.1.3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,cf:imsi,cf:imei -Dimporttsv.bulk.output=/user/libc/tmp1 -Dimpo...
分类：
其他好文 时间：
2014-10-16 01:06:01
阅读次数：
274
这里使用的版本是cdh发行的pig-0.12.0-cdh5.1.2 下载地址点这里
1.Pig简介：
Pig是yahoo捐献给apache的一个项目，它是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。这是Yahoo开发的又一个克隆Google的项目:S...
分类：
其他好文 时间：
2014-10-13 21:20:27
阅读次数：
253
hbase-0.98.1-cdh5.1.0伪分布式安装...
分类：
其他好文 时间：
2014-09-17 16:56:12
阅读次数：
171
hbase-0.98.1-cdh5.1.0 完全分布式搭建...
分类：
其他好文 时间：
2014-09-16 00:25:59
阅读次数：
295
