转 Lambda表达式例子1.Java8 新特性介绍 写java的同学对java8肯定知道 那么java8到底有哪些特性呢，总结如下： Lambda表达式 函数式接口 Stream Optional Predicate Function Consumer Filter Map-Reduce 新的Da ...
分类：
其他好文 时间：
2017-01-15 19:18:50
阅读次数：
307
一、两者分别是什么： Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够 ...
分类：
其他好文 时间：
2017-01-09 18:20:46
阅读次数：
215
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能 ...
分类：
其他好文 时间：
2016-12-28 19:43:57
阅读次数：
124
优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效 ...
分类：
其他好文 时间：
2016-12-25 23:17:49
阅读次数：
235
转自:http://www.jianshu.com/p/7fe3408e6048 1、map(func,seq1[,seq2...]) Python 函数式编程中的map()函数是将func作用于seq中的每一个元素，并用一个列表给出返回值。如果func为None，作用通zip().当seq只有一个 ...
分类：
编程语言 时间：
2016-12-21 13:55:45
阅读次数：
253
Map Reduce & YARN简介Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS)... ...
分类：
其他好文 时间：
2016-12-12 11:48:59
阅读次数：
202
python基础-函数式编程 高阶函数：map , reduce ,filter,sorted 匿名函数: lambda 1.1函数式编程 面向过程编程：我们通过把大段代码拆成函数，通过一层一层的函数，可以把复杂的任务分解成简单的任务，这种一步一步的分解可以称之为面向过程的程序设计。函数就是面向过程 ...
分类：
编程语言 时间：
2016-12-08 02:58:01
阅读次数：
270
本文总结了Hadoop生态系统中各个组件使用的端口，包括了HDFS，Map Reduce，HBase，Hive，Spark，WebHCat，Impala，Alluxio，Sqoop等，后续会持续更新。 HDFS Ports： Service Servers Default Ports Used Pr ...
分类：
其他好文 时间：
2016-12-06 09:36:46
阅读次数：
200
1.1函数式编程 面向过程编程：我们通过把大段代码拆成函数，通过一层一层的函数，可以把复杂的任务分解成简单的任务，这种一步一步的分解可以称之为面向过程的程序设计。函数就是面向过程的程序设计的基本单元。 函数式编程：是使用一系列函数去解决问题，函数式编程就是根据编程的范式来的出想要的结果，只要是输入时 ...
分类：
编程语言 时间：
2016-12-04 13:58:23
阅读次数：
261
一、原理分析 Mapreduce的处理过程，由于Mapreduce会在Map~reduce中，将重复的Key合并在一起，所以Mapreduce很容易就去除重复的行。Map无须做任何处理，设置Map中写入context的东西为不作任何处理的行，也就是Map中最初处理的value即可，而Reduce同样 ...
分类：
其他好文 时间：
2016-12-03 01:57:37
阅读次数：
319
