调用文件系统(FS)Shell命令应使用 $HADOOP_HOME/bin/hadoop fs 的形式。 所有的FS Shell命令使用URI路径作为参数。 URI格式是scheme://authority/path。 对于HDFS，HDFS的scheme是hdfs，如hdfs://localhos ...
分类：
系统相关 时间：
2016-07-19 09:53:12
阅读次数：
170
HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作
一、 hbase架构
1.概述。
HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的...
分类：
其他好文 时间：
2016-07-15 21:37:29
阅读次数：
207
用php写了简单map reduce程序，使用cat test.txt | php mapper.php | php reducer.php 测试过脚本没有问题，然而使用hadoop时就总是jobs fail。 因此得出结论是在上传脚本到hadoop服务器上执行时的命令输入错误。以下总结两个易错点：... ...
分类：
Web程序 时间：
2016-07-02 21:26:30
阅读次数：
164
二、在Hadoop上实现数据仓库
（大部分翻译自《Big Data Warehousing》）
数据仓库技术出现很长时间了，现在为什么要从传统数据库工具转为使用Hadoop呢？答案就是最引人关注的流行词汇 —— 大数据。对许多组织来说，传统关系数据库已经不能够经济地处理他们所面临的数据量。而Hadoop生态圈就是为了能够廉价处理大量数据的目的应运而生的。下面看看大数据是怎么定义...
分类：
其他好文 时间：
2016-06-25 09:42:51
阅读次数：
247
在上一篇使用hadoop mapreduce分析mongodb数据：（１）中，介绍了如何使用Hadoop MapReduce连接MongoDB数据库以及如何处理数据库，本文结合一个案例来进一步说明Hadoop MapReduce处理MongoDB的细节 原始数据 > db.stackin.find( ...
分类：
数据库 时间：
2016-06-19 11:26:52
阅读次数：
220
在使用hadoop的时候，可能遇到各种各样的问题，然而由于hadoop的运行机制比较复杂，因而出现了问题的时候比较难于发现问题。 本文欲通过某种方式跟踪Hadoop的运行痕迹，方便出现问题的时候可以通过这些痕迹来解决问题。 一、环境的搭建 为了能够跟踪这些运行的痕迹，我们需要搭建一个特殊的环境，从而 ...
分类：
其他好文 时间：
2016-06-14 21:01:17
阅读次数：
309
在使用hadoop的时候，可能遇到各种各样的问题，然而由于hadoop的运行机制比较复杂，因而出现了问题的时候比较难于发现问题。
本文欲通过某种方式跟踪Hadoop的运行痕迹，方便出现问题的时候可以通过这些痕迹来解决问题。
一、环境的搭建
为了能够跟踪这些运行的痕迹，我们需要搭建一个特殊的环境，从而可以一步步的查看上一节提到的一些关键步骤所引起的变化。
我们首先搭建一个拥有...
分类：
其他好文 时间：
2016-06-12 02:49:45
阅读次数：
167
最近考虑使用hadoop mapreduce来分析mongodb上的数据，从网上找了一些demo，东拼西凑，终于运行了一个demo，下面把过程展示给大家 环境 ubuntu 14.04 64bit hadoop 2.6.4 mongodb 2.4.9 Java 1.8 mongo-hadoop-co ...
分类：
数据库 时间：
2016-06-09 13:27:07
阅读次数：
337
MRUnit可以花费时间少，并且可以分别测试mapper和reducer 步骤： 1、 运用MRUnit测试mapper和reducer 2、 执行mapreduce代码的本地化测试 3、 使用hadoop日志 4、 通过计数器跟踪执行指标 Testing Mapper的过程 1、 实例化mapdi ...
分类：
移动开发 时间：
2016-05-29 16:39:26
阅读次数：
522
首先是来说一下这两天来自己的个人感受吧。我争取在第一段将情怀给逼逼完，大家可以无视这一段~~~真心是不容易，第一个感觉就是，乱。为啥呢？先说说我使用Hadoop的原因吧。选了云计算这门课，打算到时候深入研究大数据，也就要好好学咯。第一个学生研究课题是Hadoop环境搭建，据说是从选软件（也就是第一个 ...
分类：
其他好文 时间：
2016-05-20 00:38:55
阅读次数：
242
