四、配置Master容错1.修改Tachyon配置[root@node1conf]#pwd/usr/local/tachyon/conf
[root@node1conf]#tailtachyon-env.sh
JAVA_HOME=/usr/java/default
exportTACHYON_MASTER_ADDRESS=node1
exportTACHYON_UNDERFS_ADDRESS=hdfs://node2:9000
-Dtachyon.master.journal.folder..
分类：
其他好文 时间：
2014-10-15 16:04:11
阅读次数：
252
了解hadoop，首先就需要先了解hadoop的数据流，就像了解servlet的生命周期似的。hadoop是一个分布式存储（hdfs）和分布式计算框架（mapreduce），但是hadoop也有一个很重要的特性：hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。...
分类：
其他好文 时间：
2014-10-15 12:01:40
阅读次数：
199
Decommission Datanode就是把Datanode从HDFS集群中移除掉。那问题来了，HDFS在设计时就把诸如机器故障考虑进去了，能否直接把某台运行Datanode的机器关掉然后拔走呢？我认为理论上可行的，不过在实际的集群中，如果某份数据只有一份拷贝而且它就在这个机器上，那么直接关掉并拔走机器就会造成数据丢失。本文将介绍如何Decommission Datanode以及可能会遇到的一些问题及其解决办法。...
分类：
其他好文 时间：
2014-10-15 00:13:09
阅读次数：
470
HDFS文件上传：8020端口拒绝连接问题解决！CopyFromLocal:Calltolocalhost/127.0.0.1:8020failedonconnectionexception:java.net.ConnectException问题提示本机的8020端口无法连接。网络上面找到一篇文章是将core-site.xml里面的配置端口修改成8020，但是我们现在依然用他默认..
分类：
Web程序 时间：
2014-10-14 20:49:39
阅读次数：
786
将手机上网日志文件批量导入到Hbase中，操作步骤：
1、将日志文件(请下载附件)上传到HDFS中，利用hadoop的操作命令上传：hadoop fs -put input /
2、创建Hbase表，通过Java操作
Java代码
package com.jiewen.hbase; import java.io.IOException;...
分类：
编程语言 时间：
2014-10-14 16:27:40
阅读次数：
367
一、Crontab -e 加入输出Log*/1 * * * * /qiwen_list/upload_to_hdfs.sh > /qiwen_list/mapred.log 2>&1二、查看Log发现，找不到Hadoop三、脚本中指定Hadoop完整路径#!/bin/sh#upload list t...
分类：
Web程序 时间：
2014-10-13 22:51:47
阅读次数：
659
分区考虑，不要使用LVMroot-->20Gswap--2倍系统内存Masternode:RAID10,dualEthernetcards,dualpowersupplies,etc.Slavenode:1.RAIDisnotnecessary2.HDFS分区,notusingLVM/etc/fstab--ext3defaults,noatime挂载到/data/N,forN=0,1,2...(onepartitionperdisk)Clouderareposito..
分类：
其他好文 时间：
2014-10-13 02:02:10
阅读次数：
739
1.core-site.xml在中插入 fs.default.name hdfs://localhost:9000 dfs.replication 1 ...
分类：
其他好文 时间：
2014-10-12 13:51:37
阅读次数：
190
无意将hdfs上的hbase文件（hbase的rootDir为hdfs:master1:9000/hbase）删掉了，重启hbase和ZK都不行 解决方案：使用hbase的ZK 即设置 hbase-env.sh 中的 ?HBASE_MANAGES_ZK 为 true 在重启hbase 即可生成hbase文...
分类：
其他好文 时间：
2014-10-11 21:04:37
阅读次数：
274
hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下，默认情况下是没有启动的，需要配置完后手工启动服务。mapred-site.xml添加如下配置 mapreduce.jobhistory.address hadoop000:10020 Ma...
分类：
其他好文 时间：
2014-10-11 20:26:06
阅读次数：
251
