1.flume 2.storm 3.hadoop 4.crawler 5.nutch 6.opentsd 7.tigase 8.flume +shell 收集日志,方便在线以及离线分析 9.redis 做用户行为分析的利器 10.maven 11.git 12.ruby 13.python 14.p...
分类：
其他好文 时间：
2014-08-13 14:29:36
阅读次数：
302
Hive 运行架构
由Facebook开源，最初用于解决海量结构化的日志数据统计问题：ETL工具；
构建于Hadoop的HDFS和MapReduce智商，用于管理和查询结构化/非结构化数据的数据仓库；
设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据：
使用HQL作为查询接口；
使用HDFS作为存储底层；...
分类：
其他好文 时间：
2014-08-12 19:05:44
阅读次数：
314
Spark1.0.x入门指南 1 节点说明 ? IP Role 192.168.1.111 ActiveNameNode 192.168.1.112 StandbyNameNode,Master,Worker 192.168.1.113 DataNode,Master,Worker 192.168.1.114 DataNode,Worker HDFS集群和Spark...
分类：
其他好文 时间：
2014-08-12 17:45:25
阅读次数：
278
目的
本指南提供一个HDFS HA特性的综述，描述了如何使用QJM配置和管理一个HA HDFS集群。
本文档假设读者对于HDFS中的通用组件和节点类型有一个大体的认识。请参考HDFS架构指南获取更多信息。
注意：使用QJM或者传统的共享存储
本文档讨论了如何用QJM配置和使用HDFS HA在Active NameNode和Standby NameNode共享edit日志文件...
分类：
其他好文 时间：
2014-08-12 17:18:04
阅读次数：
327
2014-08-12HDFS存储过慢，内存过高而且不释放网络方面：使用 netstat-n |awk'/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 查看网络情况：情况如下： CLOSE_WAIT 102 FIN_WAIT2 2 ESTABLIS...
分类：
其他好文 时间：
2014-08-12 13:07:14
阅读次数：
601
我们在上一篇文章《HBase复制》中讲述了如何建立主/从集群，实现数据的实时备份。但是，HBase复制只对设置好复制以后的数据生效，也即，配置好复制之后插入HBase主集群的数据才能同步复制到HBase从集群中，而对之前的历史数据，采用HBase复制这种办法是无能为力的。本文介绍如何使用HBase的导入导出功能来实现历史数据的备份。
1）将HBase表数据导出到hdfs的一个指定目录中，具体命令...
分类：
其他好文 时间：
2014-08-11 17:47:22
阅读次数：
322
目录： 一、什么是Flume? 1)flume的特点 2)flume的可靠性 3)flume的可恢复性 4)flume 的 一些核心概念 二、flume的官方网站在哪里？ 三、在哪里下载？ 四、如何安装？ 五、flume的案例 1)案例1：Avro 2)...
分类：
其他好文 时间：
2014-08-10 21:12:21
阅读次数：
495
Hive是什么1）Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库；2）一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制；3）Hive 定义了简单的类SQL 查询语言，称为HQL，它允许熟悉SQL 的用户查询数据；4）允许用Java开发自...
分类：
其他好文 时间：
2014-08-09 23:10:49
阅读次数：
288
将tar 和find 结合，选定目录下指定的文件类型进行打包解压：tar命令用语对文件进行归档以及恢复归档文件,"tar xzvf"命令用于释放".tar.gz"格式压缩的归档文件;"tar xvf"命令用于释放".tar"格式压缩的归档文件;"tar xjvf"命令用于释放".tar.b2z"格式...
分类：
其他好文 时间：
2014-08-09 15:45:18
阅读次数：
163
把本地文件上传到hadoop的hdfs-over-ftp...
分类：
其他好文 时间：
2014-08-08 21:22:26
阅读次数：
303
