1.部署环境系统:CentOS6.3需要安装jdk.JDK的RPM下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.htmlhadoop手册地址:http://hadoop.apache.org/docs/r1.2.1/index.html关闭iptables和selinux/etc/init.d/iptablesstop
chkconfigipta..
分类：
其他好文 时间：
2014-11-26 06:50:52
阅读次数：
261
目前、ipv6还未普及、真心的搞不清楚、为什么要在rhel6以上的版本就使用IPV6了1、是否使用ipv6ifconfig查看信息2.修改配置文件/etc/modprobe.d/dist.conf在配置文件中增加2个指令添加位置随意aliasnet-pf-10offaliasipv6off3.重新启动服务器reboot4.配置IP直接编辑网卡配置文件..
分类：
其他好文 时间：
2014-11-26 06:52:52
阅读次数：
191
1.部署环境系统:CentOS6.3需要安装jdk.JDK的RPM下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.htmlhadoop手册地址:http://hadoop.apache.org/docs/r1.2.1/index.html关闭iptables和selinux/etc/init.d/iptablesstop
chkconfigipta..
分类：
其他好文 时间：
2014-11-26 06:52:42
阅读次数：
187
1.安装与编译相关的包yuminstallsvn-y
yuminstallautoconfautomakelibtoolcmake-y
yuminstallncurses-devel-y
yuminstallopenssl-devel-y
yuminstallgcc*-y2.安装maven通过写好xml会简化繁琐的编译流程..网址http://maven.apache.org/wgethttp://mirrors.hust.edu.cn/apache/ma..
分类：
其他好文 时间：
2014-11-26 06:50:09
阅读次数：
171
HDFS提供分布式存储机制,提供可线性增长的海量存储能力自动数据冗余,无须使用Raid,无须另行备份为进一步分析计算提供数据基础HDFS设计基础与目标硬件错误是常态,因此需要冗余流式数据访问.即数据批量读取而非随机读写,hadoop擅长做的是数据分析而不是事务处理大规模数据集简单..
分类：
其他好文 时间：
2014-11-26 06:49:42
阅读次数：
223
公司对haproxy进行了配置的拆分,将每个backend的serverlist独立拆分成一个静态文件,对每个静态文件可以独立修改..现有的haproxy.cfg配置文件数量很多且每个文件的内容也非常的多,人工拆分太苦逼,因此写过一个小脚本用来完成这项任务.今天在浏览系统文件夹的时候,将此程序最初的..
分类：
其他好文 时间：
2014-11-26 06:50:38
阅读次数：
134
HDFS联邦HDFSHAHDFS快照回顾:HDFS两层模型Namespace:包括目录,文件和块.它支持所有命名空间相关的文件操作,如创建,删除,修改,查看所有文件和目录BlockStorageService(块存储服务)包括两部分1.在namenode中的块的管理提供datanode集群的注册,心跳检测等功能.处理块的报告信息和..
分类：
其他好文 时间：
2014-11-26 06:48:59
阅读次数：
140
配置HDFS联邦配置etc/hadoop/hdfs-site.xml<configuration>
<property>
<name>dfs.nameservices</name>
<value>ns1,ns2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1</name>
<value&g..
分类：
其他好文 时间：
2014-11-26 06:48:49
阅读次数：
155
在2.x终于实现了快照设置一个目录为可快照:hdfsdfsadmin-allowSnapshot<path>取消目录可快照hdfsdfsadmin-disallowSnapshot<path>生成快照hdfsdfs-createSnapshot<path>[<snapshotName>]删除快照hdfsdfs-deleteSnapshot<path><snapshotName&g..
分类：
其他好文 时间：
2014-11-26 06:51:06
阅读次数：
157
这个问题出现有一段时间了，最开始的时候从一天3-5次左右到最近的一天出现10多次的告警邮件...因为Puppet同步采取了主动触发和定时同步两种策略，几乎每次的报错都是在定时同步时出现...PuppetServer采用双主结构，Webui使用Foreman，为了确定这个报错是出现在那台服务器上,通..
分类：
其他好文 时间：
2014-11-26 06:49:12
阅读次数：
251
任务目标:目标一:每名学生被多少位老师教过方法一:先DISTINCT,在计数-DISTINCT能偶对所有数据去重方法二:先分组-FOREACH嵌套-使用DISTINCT首先创建一份数据源文件[hadoop@hadoop1~]$catscore.txt
James,Network,Tiger,100
James,Database,Tiger,99
James,PDE,Yao,95
Vincent,Ne..
分类：
其他好文 时间：
2014-11-26 06:49:24
阅读次数：
201
背景:NoSQL运动,NotOnlySQLNewSQL,SQL的逆袭放弃SQL是最大的错误Hive还不算是完整的数据库系统Hive很缓慢应用于即席查询场景Hive:数据仓库工具,可以把Hadoop下的原始结构化数据变为Hive中的表支持一种与SQL几乎完全相同的语言HiveQL.除了不支持更新,索引和事务,几乎SQL的其他特..
分类：
其他好文 时间：
2014-11-26 06:48:30
阅读次数：
249
Hbase简介Hbase是一个分布式的,面向列的开源数据库,该技术来源于Changetal所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统"就像Bigtable利用了Google文件系统(FileSystem)所提供的分布式数据存储一样,Hbase在Hadoop之上提供了类似于Bigtable的能力Hbase是Apache的..
分类：
其他好文 时间：
2014-11-26 06:47:41
阅读次数：
183
网站:http://hbase.apache.org/版本对应关系:通过lib目录下的hadoop-core-...jar可以看出适配的hadoop版本hbase-0.98.6-hadoop2=>hadoop2.2
hbase-0.96.2-hadoop2=>hadoop2.2
hbase-0.98.6-hadoop1=>hadoop1.2.1
hbase-0.96.2-hadoop1=>hadoop1.2.1Hbase安装:单机..
分类：
其他好文 时间：
2014-11-26 06:49:09
阅读次数：
119
网站:http://hbase.apache.org/版本对应关系:通过lib目录下的hadoop-core-...jar可以看出适配的hadoop版本hbase-0.98.6-hadoop2=>hadoop2.2
hbase-0.96.2-hadoop2=>hadoop2.2
hbase-0.98.6-hadoop1=>hadoop1.2.1
hbase-0.96.2-hadoop1=>hadoop1.2.1Hbase安装:伪分..
分类：
其他好文 时间：
2014-11-26 06:49:20
阅读次数：
148
网站:http://hbase.apache.org/版本对应关系:通过lib目录下的hadoop-core-...jar可以看出适配的hadoop版本hbase-0.98.6-hadoop2=>hadoop2.2
hbase-0.96.2-hadoop2=>hadoop2.2
hbase-0.98.6-hadoop1=>hadoop1.2.1
hbase-0.96.2-hadoop1=>hadoop1.2.1Hbase安装:分布..
分类：
其他好文 时间：
2014-11-26 06:47:52
阅读次数：
459
abschange参数:直接忽略后边的参数支持值类型:float,int,str,text,log描述:返回最近获取到的值与之前的值的差值的绝对值.对于字符串类型，0表示值相等，1表示值不同avg参数:秒或#num支持值类型:float,int描述:
返回指定时间间隔的平均值.时间间隔可以通过第一个参数通过秒数设..
分类：
其他好文 时间：
2014-11-26 06:46:41
阅读次数：
164
