Map-reduce是一种优雅的数据处理方式，本文通过三个例子介绍如何用python在linux的管道进行map-reduce编程，本文写的所有map-reduce程序都可以原封不动的放在Hadoop下运行，很容易在大数据集上扩展。
分类：
其他好文 时间：
2014-06-09 19:11:44
阅读次数：
253
Hadoop 的优势Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分
布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发执行处理海量数据的应用程序。它主要有下面几个长处:1.高可靠性。Hadoop
按位存储和处理数据的能力值得人们信赖。2.高...
分类：
其他好文 时间：
2014-06-09 15:48:27
阅读次数：
201
https://github.com/ihrwein/webhdfshttps://tiborbenke.blogs.balabit.com/2013/11/the-syslog-ng-in-the-hadoop-era/https://github.com/prezi/logboxhttp://d...
分类：
Web程序 时间：
2014-06-09 14:54:45
阅读次数：
198
百亿数量级的大数据项目，软硬件总体预算只有30万左右，需求是进行复杂分析查询，性能要求多数分析请求达到秒级响应。
遇到这样的项目需求，预算不多的情况，似乎只能考虑基于Hadoop来实施。
理论上Hadoop撑住百亿数量级没问题，但想要秒级响应各种查询分析就不行了。我们先大概分析一下Hadoop的优缺...
分类：
其他好文 时间：
2014-06-09 14:32:39
阅读次数：
509
Hbase简介
Hbase 全称是Hadoop DataBase ，是一种开源的，可伸缩的，高可靠，高性能，面向列的分布式存储系统。
类似于Google的BigTable，其分布式计算采用MapReduce，通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS，通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引，而Hbase支持一级和二级索...
分类：
其他好文 时间：
2014-06-08 18:24:32
阅读次数：
563
构建一个list注意要标记不要求值，比如用‘ 或者list> (list "a" "b" "c")
("a" "b" "c")或者> '("a" "b" "c")
("a" "b" "c")
查找在一个全是string的list中用正则表达式查找查找第一个匹配到的元素：> (set 'l '("WARNING: org.apache.hadoop.metrics.jvm.EventCounter...
分类：
其他好文 时间：
2014-06-08 16:23:41
阅读次数：
243
下载了Hadoop预编译好的二进制包，hadoop-2.2.0.tar.gz，启动起来后，总是出现这种警告：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
原因是apache官...
分类：
其他好文 时间：
2014-06-08 09:47:47
阅读次数：
292
使用sqoop将MySQL数据库中的数据导入Hbase
前提：安装好 sqoop、hbase。
下载jbdc驱动：mysql-connector-java-5.1.10.jar
将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下
MySQL导入HBase命令：
sqoop import --connect j...
分类：
数据库 时间：
2014-06-08 08:23:30
阅读次数：
408
系统版本：master:Ubuntu 14.04 salve1:Ubuntu
14.04hadoop: hadoop
2.2.01、系统配置以及安装SSH无密码登陆环境（master&slaves）：修改本机(master)和子节点(slaveN)机器名：打开/etc/hostname文件sudo
...
分类：
其他好文 时间：
2014-06-08 07:32:54
阅读次数：
310
运行HBase时常会遇到个错误，我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志：org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类：
其他好文 时间：
2014-06-08 03:02:50
阅读次数：
395
