HDFS的Shell操作与管理6.1启动HDFSStep01：格式化NameNode[hadoop@hadoop-yarnhadoop-2.2.0]$bin/hdfsnamenode–format说明：namenode在格式化的时候会产生一个ClusterID。也可以在格式化的时候自定义指定ID：bin/hdfsnamenode–format–clusteridyarn-clusterStep02：启动Nam..
分类：
系统相关 时间：
2015-04-07 19:58:53
阅读次数：
326
2.1下载地址1、ApacheHadoop（100%永久开源）下载地址：-http://hadoop.apache.org/releases.html-SVN：http://svn.apache.org/repos/asf/hadoop/common/branches/2、CDH（ClouderaDistributedHadoop，100%永久开源）下载地址：-http://archive.cloudera.com/cdh4/cdh/4/（是ta..
分类：
其他好文 时间：
2015-04-07 19:58:25
阅读次数：
363
在linux下配置测试环境时，经常遇到代理服务器配置的相关问题，在这里总结一些，为以后节省些时间。 也希望对需要的人有所帮助linux下proxy的常规设置一般是把如下环境变量的设置放到/etc/profile.d/proxy.sh文件中。 对于没有系统权限的用户，可以将下面的内容添加到自己用户目录...
分类：
系统相关 时间：
2015-04-07 19:19:59
阅读次数：
183
问题描述：当我第一次编译好postfix的时候，添加进去了sasl和tls第一次配置：测试postfix是支持sasl和tls的[root@node01~]#vim/etc/sasl2/smtpd.conf
pwcheck_method:auxprop
auxprop_plugin:sql
mech_list:PLAINLOGINCRAM-MD5DIGEST-MD5NTLM
sql_engine:mysql
sql_hostnames:l..
分类：
其他好文 时间：
2015-04-07 07:19:30
阅读次数：
202
ACE在windows下的编译及配置（VS2010） 分类： -[小西南]- 2013-08-06 16:17 2354人阅读 评论(6) 收藏 举报 目录(?)[+]1 下载ACE2 创建ACE的配置文件3 编译ACE库4 可为ACE目录设置环境变量5 VS2010 ACE配置6 测试操作是否.....
1.测试主机IP：192.168.20.1092.yum升级安装iscsi所需的安装包yuminstallscsi-target-utils（服务端）iscsi-initiator-utils（客户端）3.servicetgtdstart开启tgtd服务端口号为32604.配置vim/etc/tgt/targets.conf在末尾添加<targetiqn.2015-04.dev:server.iscsidisk>bac..
分类：
其他好文 时间：
2015-04-01 20:19:26
阅读次数：
218
本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。一般情况下，用MemoryChannel就好了，我们公司用的就是这个，FileChannel速度慢，虽然提供日志级别...
分类：
Web程序 时间：
2015-04-01 17:21:22
阅读次数：
194
分布式数据收集flume-ng的spoolDir监控使用中的坑。。。。。...
分类：
Web程序 时间：
2015-03-31 18:07:14
阅读次数：
262
0.上传日志文件到linux中，通过flume将文件收集到hdfs中。
执行命令/home/cloud/flume/bin/flume-ng agent -n a4 -c conf -f /home/cloud/flume/conf/a4.conf -Dflume.root.logger=DEBUG,console
1.建立hive表
create external table bb...
分类：
Web程序 时间：
2015-03-28 08:51:36
阅读次数：
156
代码如下: package com.wy.flume.interceptor;
import java.util.List;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import org.apache.commons.lang.StringUtils...
分类：
Web程序 时间：
2015-03-18 07:53:03
阅读次数：
2294
