为了方便 MapReduce 直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。
运行MapReduce时候报错：java.io.IOException: c...
分类：
数据库 时间：
2015-08-11 18:42:10
阅读次数：
273
网上有很多hadoop例子，但是不难发现，即使是一个wordcount都有很多不一样的地方，我们不可能总拿着别人的例子跑，所以自己要总结出一套规范，让api即使更新也能马上适应过来。这里也以hadoop 专利分析作为炮灰
右键新建map/reduce项目，然后点击项目右键Mapper,Reducer,MapperReduce Driver 并且在MapperReduce Driver 里填...
分类：
其他好文 时间：
2015-08-10 22:20:48
阅读次数：
126
Storm是什么：如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。我们都知道，根据googlemapreduce来实现的hadoop为我们提供了map,reduce原语，使我们的批处理程序变得非常地简单..
分类：
其他好文 时间：
2015-08-10 20:20:52
阅读次数：
202
js map, reduce, forEach, filter的一般实现
map（映射）, reduce（规约）, forEach（遍历）, filter（过滤），它们都是高阶函数，都是以传入不同的函数来以不同的方式操作数组元。
1> map
function map(array, func) {
var res = [];
for (var i = 0, len = array...
分类：
Web程序 时间：
2015-08-01 23:36:46
阅读次数：
210
第一章：Spring Data JPA入门Spring Data是什么Spring Data是一个用于简化数据库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。 Spring Data 包含多个子项目：Commons - 提供共...
分类：
编程语言 时间：
2015-07-29 18:42:02
阅读次数：
288
2015-07-28 10:03:21,557 Stage-2 map = 100%, reduce = 0%
Ended Job = job_1437720498561_1035 with errors
Error during job, obtaining debugging information...
Examining task ID: task_1437720498561_10...
分类：
其他好文 时间：
2015-07-28 11:05:54
阅读次数：
705
什么是Spark
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的ma...
分类：
其他好文 时间：
2015-07-25 09:29:52
阅读次数：
140
1.安装插件下载插件hadoop-eclipse-plugin-2.6.0.jar并将其放到eclips安装目录->plugins（插件）文件夹下。然后启动eclipse。配置 hadoop 安装目录 配置Map/Reduce 视图 点击"大象" 在“Map/Reduce Lo...
分类：
系统相关 时间：
2015-07-23 06:44:43
阅读次数：
257
函数式编程的核心就是把函数当成对象来进行编程。有两个常用到的方法:map/reduce,filter，其中map和filter是内建方法，而reduce不是，所以需要import相关模块。map接收两个参数，第一个参数是函数(处理办法)，第二个参数是一个可迭代对象，而map可以把第二个参数的变量映射...
分类：
编程语言 时间：
2015-07-20 01:16:34
阅读次数：
160
前言如果在REDUCE中并没有涉及到生成HDFS文件，比如只是将一些数据写入REDIS，那么每次都要提供一个不存在的OUTPUT，真是挺麻烦的，有没有机制可以让MAP/REDUCE作业不要检查输出路径？检查输出路径的机制经常，我们的输出格式是这样的：job.setOutputFormatClass(TextOutputFor..
分类：
其他好文 时间：
2015-07-11 06:49:40
阅读次数：
159
