Hadoop 分布式环境搭建一、前期环境安装概览IPHost
NameSoftwareNode192.168.23.128ae01JDK 1.7NameNode, SecondaryNameNode,
DataNode,JobTracker, TaskTracker192.168.23.129ae0...
分类:
其他好文 时间:
2014-06-16 07:43:06
阅读次数:
214
近期開始使用MapReduce,发现网上大部分样例都是对文本数据进行处理的,也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理就可以。对于文本数据处理,这个类还是能满足一部分应用场景。可是假设要处理以二进制形式结构化记录存储的文件时,这些类就不再适合了。本文以一个简单的应用...
分类:
其他好文 时间:
2014-06-16 06:14:38
阅读次数:
297
package com.sogou.hadoop.test;public class Sudoku {/**验证该值是否合法*/ public boolean isValidSudoku(char[][] board,int x,int y){ int row,col; ...
分类:
编程语言 时间:
2014-06-15 00:51:03
阅读次数:
292
本文介绍的 Zookeeper 是以 3.4.5 这个稳定版本为基础,最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取,Zookeeper 的安装非常简单,下面将从单机模式和集群模式两个方面介绍 Zookeeper 的Windows安装和配置.CSD...
一年前,准备使用mongDb自带的map,reduce功能模拟hadoop,换个思路做一个简易的大数据分拆再结合存储的办法;这个功能可以用于数据日志或者游戏数据之类,进行周期性归纳和按照自己需求重组数据;以下代码实现了将每日数据collecttion:gameLog日期的数据统计出不同的collec...
分类:
数据库 时间:
2014-06-14 22:38:35
阅读次数:
432
reduce的个数到底和什么相关,本问题详细阐述了这个问题...
分类:
其他好文 时间:
2014-06-14 00:05:03
阅读次数:
362
1:引入的jar包1.X版本有hadoop-core包;而2.x没有如果你需要hdfs就引入\share\hadoop\common\lib
+hadoop-common-2.0.0-cdh4.6.0.jar +hadoop-hdfs-2.0.0-cdh4.6.0.jar
+\share\hadoo...
分类:
其他好文 时间:
2014-06-12 13:59:33
阅读次数:
255
实例描述:现有两个文件,dedu1.txt和dedu2.txt,数据文件中的每一行都是一个数据,现要对这两个文件进行去重,两个文件内容分别为(同颜色的表示重复的数据):dedu1.txt:dedu2.txt:2012-3-1a2012-3-1b2012-3-2b2012-3-2a2012-3-3c2012-3-3b2012-3-4d2012-3-4d2012-3-5a2012..
分类:
其他好文 时间:
2014-06-10 22:21:15
阅读次数:
208