从《Hadoop权威指南》选取了一个小案例，在Hadoop集群环境中运行。1、新建JAVA类，保存书中源代码。[huser@master bin]$ vi
URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa...
分类：
其他好文 时间：
2014-05-14 03:52:36
阅读次数：
457
简介
本文档对从 Apache Hadoop 1.x 迁移他们的Apache Hadoop MapReduce 应用到
Apache Hadoop 2.x 的用户提供了一些信息。
在 Apache Hadoop 2.x 中，我们已经把资源管理功能放入 分布式应用管理框架 的Apache
Hadoop YARN,而 Apache Hadoop MapReduce (亦称 MRv2) 保持...
分类：
其他好文 时间：
2014-05-14 00:55:11
阅读次数：
294
前言
学习任何一个稍有难度的技术，要对其有充分理性的分析，之后果断做出决定---->也就是人们常说的“多谋善断"；本系列虽然涉及的是socket相关的知识，但学习之前，更想和广大程序员分享的是一种心境微笑：学习是一个循序渐进的过程，心态应该随时调节，保持戒骄戒躁的状态。比如最近在看网易公开课MIT《算法导论》，老师提到，学习算法之前要计算机数学+离散数学+概率论等课程的知识，所以一直学不好算法的程序员不妨从基础入手，这都是中国式教育惹的祸啊！（此处省略一万字......）...
分类：
编程语言 时间：
2014-05-13 09:36:20
阅读次数：
394
前言
学习任何一个稍有难度的技术，要对其有充分理性的分析，之后果断做出决定---->也就是人们常说的“多谋善断"；本系列虽然涉及的是socket相关的知识，但学习之前，更想和广大程序员分享的是一种心境微笑：学习是一个循序渐进的过程，心态应该随时调节，保持戒骄戒躁的状态。比如最近在看网易公开课MIT《算法导论》，老师提到，学习算法之前要计算机数学+离散数学+概率论等课程的知识，所以一直学不好算法的程序员不妨从基础入手，这都是中国式教育惹的祸啊！（此处省略一万字......）...
分类：
编程语言 时间：
2014-05-13 08:52:15
阅读次数：
394
最近看着公司的项目是在太悲剧了看不下去了。各种供跨库调用各种卡，想换一种思路模式，找了很久感觉mongDB非关系型数据库比较合适也比较好玩。开始学习首先第一步
c# 链接mongDB集群
一 了解mongdb
一 学习部署
二 部署集群
三 C#链接mongdb 完成测试
mongdb 是作为非关系型数据库，数据存储在内存中，由于目前我我们公司全部采用sqlserve...
分类：
数据库 时间：
2014-05-13 08:46:05
阅读次数：
279
本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce
Cookbook》中的示例代码。1、安装AntAnt项目主页：http://ant.apache.org/下载二进制安装包，例如apache-ant-1.9.4-bin.tar.gz，上传到Hadoop集群环...
分类：
其他好文 时间：
2014-05-12 20:44:36
阅读次数：
398
import java.io.IOException;import
org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import
org.apache.hadoop.io.IntWritable;import...
分类：
其他好文 时间：
2014-05-12 19:55:27
阅读次数：
326
mapreduce
job提交流程源码级分析（二）（原创）这篇文章说到了jobSubmitClient.submitJob(jobId,
submitJobDir.toString(),
jobCopy.getCredentials())提交job，最终调用的是JobTracker.submit.....
分类：
其他好文 时间：
2014-05-11 16:32:10
阅读次数：
289
Hadoop集群（第9期）_MapReduce初级案例1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1
实例描述 对数.....
分类：
其他好文 时间：
2014-05-11 16:02:24
阅读次数：
538
