一 map操作符 类似于大家所熟知的 Array.prototype.map 方法，此操作符将投射函数应用于每个值 并且在输出 Observable 中发出投射后的结果。 二 switchMap操作符 将每个源值映射成 Observable，并输出这个新生成的内部Observable。 源值发生变化 ...
分类：
Web程序 时间：
2018-04-30 11:51:13
阅读次数：
983
前言 通过前面五个篇幅的介绍，相信大家对RxJava的基本使用以及操作符应该有了一定的认识。但是知其然还要知其所以然；所以从这一章开始我们聊聊源码，分析RxJava的实现原理。本文我们主要从三个方面来分析RxJava的实现： RxJava基本流程分析 操作符原理分析 线程调度原理分析 本章节基于Rx ...
分类：
编程语言 时间：
2018-04-04 15:07:49
阅读次数：
231
ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.mr.MapredLocalTask这个问题是hive进行mapjoin而机器内存不够导致mapjoin会把join中的小表读到内存中，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据，就要去去查看小表的数据，哪条与之相符
分类：
其他好文 时间：
2018-02-05 12:39:43
阅读次数：
235
PART 3 Pair RDD Spark为包含键值对类型的RDD提供了专有操作，这类RDD叫做Pair RDD(意为“对RDD”) Spark中Pair RDD的创建主要有两种方式，一种方式从存储了键值对数据的文件中创建(主要内容见PART 4)，另一种方式可以从其他普通RDD调用map()操作来 ...
分类：
其他好文 时间：
2018-02-01 00:24:48
阅读次数：
148
1.Map API (1)Map 集合类用于存储元素对（称作“键”和“值”），其中每个键映射到一个值。 java.util Interface Map<K,V> 参数类型：K--Map的Key（键） V--Map的与Key对应的Value（值） 实现的子类：AbstractMap ， Attribu ...
分类：
编程语言 时间：
2018-01-07 15:55:14
阅读次数：
314
1、简述 LinkedHashMap是HashMap的子类，他们最大的不同是，HashMap内部维护的是一个单向的链表数组，而LinkedHashMap内部维护的是一个双向的链表数组。HashMap是无序的，LinkedHashMap可以根据访问顺序或者插入顺序进行排序（默认是根据插入顺序的，当设置 ...
分类：
编程语言 时间：
2017-12-21 21:44:12
阅读次数：
268
for{ i <- 1 util n j <- 1 util i if isPrime(x+y)}yield(i,j) (1 until n)flatMap(i=> (1 until i)filter(j=> isPrime(i+j)) map(j=>(i,j))) i从1到n变化，对每一个i进行f ...
分类：
其他好文 时间：
2017-09-23 10:41:16
阅读次数：
124
apply,applymap和map的应用总结是apply 用在dataframe上，用于对row或者column进行计算；applymap 用于dataframe上，是元素级别的操作；map （其实是python自带的）用于series上，是元素级别的操作。 ...
分类：
移动开发 时间：
2017-09-23 00:09:04
阅读次数：
171
RDDjavaapi其实底层是调用了scala的api来实现的，所以我们有必要对javaapi是怎么样去调用scalaapi，我们先自己简单的实现一个scala版本和java版本的RDD和SparkContext一、简单实现scala版本的RDD和SparkContextclassRDD[T](value:Seq[T]){
//RDD的map操作
defmap[U](f:T=>U)..
分类：
编程语言 时间：
2017-09-18 11:03:03
阅读次数：
213
