Hadoop 分布式环境搭建一、前期环境安装概览IPHost
NameSoftwareNode192.168.23.128ae01JDK 1.7NameNode, SecondaryNameNode,
DataNode,JobTracker, TaskTracker192.168.23.129ae0...
分类：
其他好文 时间：
2014-06-16 07:43:06
阅读次数：
214
近期開始使用MapReduce，发现网上大部分样例都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理就可以。对于文本数据处理，这个类还是能满足一部分应用场景。可是假设要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。本文以一个简单的应用...
分类：
其他好文 时间：
2014-06-16 06:14:38
阅读次数：
297
package com.sogou.hadoop.test;public class Sudoku {/**验证该值是否合法*/ public boolean isValidSudoku(char[][] board,int x,int y){ int row,col; ...
分类：
编程语言 时间：
2014-06-15 00:51:03
阅读次数：
292
本文介绍的 Zookeeper 是以 3.4.5 这个稳定版本为基础，最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的Windows安装和配置.CSD...
一年前，准备使用mongDb自带的map,reduce功能模拟hadoop，换个思路做一个简易的大数据分拆再结合存储的办法；这个功能可以用于数据日志或者游戏数据之类，进行周期性归纳和按照自己需求重组数据;以下代码实现了将每日数据collecttion:gameLog日期的数据统计出不同的collec...
分类：
数据库 时间：
2014-06-14 22:38:35
阅读次数：
432
1、pig安装 1）解压，重命名、设置环境变量，同hadoop 2）编辑文件$PIG_HOME/conf/pig.properties，增加两行如下内容 fs.default.name=hdfs://hadoop:9000 mapred.job.tracker=hadoop:9001...
分类：
其他好文 时间：
2014-06-14 11:40:40
阅读次数：
205
1 在hadoop上解压缩、重命名、设置环境变量HBASE_HOME，参考hadoop学习系列22 修改文件$HBASE_HOME/conf/hbase-env.sh，修改内容如下export JAVA_HOME=/usr/local/jdkexport HBASE_MANAGES_ZK=true#...
分类：
其他好文 时间：
2014-06-14 11:27:14
阅读次数：
211
1.hadoop的伪分布安装(采用Host-only模式) 1.1 设置ip地址 1.1.1设置宿主机的VirtualBox Host-only Network网路设置 IP地址：192.168.56.1 子网掩码：255.255.255.0 默认网关：不填 ...
分类：
其他好文 时间：
2014-06-14 09:50:02
阅读次数：
207
reduce的个数到底和什么相关，本问题详细阐述了这个问题...
分类：
其他好文 时间：
2014-06-14 00:05:03
阅读次数：
362
