Cannot connect to the Map/Reduce location: hadoop1.0.3
Call to ubuntu/192.168.1.111:9000 failed on connection exception: java.net.ConnectException:...
分类：
系统相关 时间：
2014-11-06 13:03:09
阅读次数：
178
Java 8中同时存在面向对象编程(OOP)和函数式编程(FP, Functional Programming)这两种编程范式。实际上，这两种范式并不矛盾，只是着重点不同。在OOP中，着重于通过丰富的类型系统对需要解决的问题进行建模；而FP中则着重于通过高阶函数和Lambda表达式来完成计算。所以我们完全可以将这两者融合在一起，对问题提出更加优雅的解决方案。
在这篇文章中，会介绍如何通过函数...
分类：
编程语言 时间：
2014-11-06 10:58:09
阅读次数：
401
运行wordcount程序一直停在map 100% reduce 0%，input文件夹的内容：其中:f1.txt中的内容为：hello hadoopf2.txt中的内容为：hello hadoopf3.txt中的内容为：hello world解决方法：在/etc/hosts中增加以下红色一行，其中...
分类：
其他好文 时间：
2014-11-05 19:25:32
阅读次数：
258
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析适合人群：高级课时数量：96课时用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop涉及项目：Greenplum Hadoop大数据分析平台联系qq：1840215592Hadoop视频教程...
分类：
其他好文 时间：
2014-11-05 12:15:18
阅读次数：
187
Hadoop中的Map Reduce框架依赖InputFormat提供数据，依赖OutputFormat输出数据，每一个Map Reduce程序都离不开它们。Hadoop提供了一系列InputFormat和OutputFormat方便开发，本文介绍几种常用的：TextInputFormat作为默认的...
分类：
其他好文 时间：
2014-11-01 11:25:17
阅读次数：
254
优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。
理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。
长期观察hadoop处理数据的过程，有几个显著的特征:
1.不怕数据多，就怕数据倾斜。
2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几...
分类：
其他好文 时间：
2014-10-31 10:13:42
阅读次数：
350
众所周知，Hadoop框架使用Mapper将数据处理成一个键值对，再网络节点间对其进行整理(shuffle)，然后使用Reducer处理数据并进行最终输出。 在上述过程中，我们看到至少两个性能瓶颈：如果我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输，但如果我们只是对数据求最大值...
分类：
其他好文 时间：
2014-10-30 20:32:28
阅读次数：
283
Python特殊语法filter、map、reduce、lambda...
分类：
编程语言 时间：
2014-10-30 19:12:40
阅读次数：
199
第四章Mongodb聚合函数插入 测试数据for(var j=1;jdb.集合名.mapReduce( map, reduce, options )第二种统计方式--命令统计1.命令如下：注意：out参数out:"Person_Name" 代表会创建一个临时表Person_Name 然后再从临时表中...
分类：
数据库 时间：
2014-10-22 12:30:43
阅读次数：
335
转自：http://blog.csdn.net/opennaive/article/details/75141461. MapReduce是干啥的因为没找到谷歌的示意图，所以我想借用一张Hadoop项目的结构图来说明下MapReduce所处的位置，如下图。Hadoop实际上就是谷歌三宝的开源实现，H...
分类：
其他好文 时间：
2014-10-20 21:00:06
阅读次数：
258
