Transformation处理的数据为Key-Value形式的算子大致可以分为：输入分区与输出分区一对一、聚集、连接操作。输入分区与输出分区一对一mapValuesmapValues：针对（Key，Value）型数据中的Value进行Map操作，而不对Key进行处理。
方框代表RDD分区。a=>a+2代表只对（ V1， 1）数据中的1进行加2操作，返回结果为3。源码： /**
* P...
分类：
其他好文 时间：
2015-07-12 00:20:08
阅读次数：
112
仿射变换（Affine Transformation）齐次坐标系（Homogeneous Coordinate)定义：所谓线性变换是指两个线性空间的映射，一个变换是线性变换，必须满足两个条件，也就是我们经常说的线性条件： additivity homogeneity理解：在《3D数学基础：图形与.....
分类：
其他好文 时间：
2015-07-10 02:12:32
阅读次数：
343
Spark专用名词
RDD —- resillient distributed dataset 弹性分布式数据集
Operation —- 作用于RDD的各种操作分为transformation和action
Job —- 作业，一个JOB包含多个RDD及作用于相应RDD上的各种operation
Stage —- 一个作业分为多个阶段
Partition —- 数据分区， 一个RDD中的数据可以分...
分类：
其他好文 时间：
2015-07-08 16:41:59
阅读次数：
138
ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。大多数据仓库的数据架构可以概括为：数据源-->ODS(操作型数据存储)-->DW-->DM(data mart)ETL贯穿其各个环节。?一、数据抽取： 可以理解为是把源数据的数据抽取到O...
分类：
其他好文 时间：
2015-07-08 00:13:54
阅读次数：
222
Understanding Cubert Concepts（二）：Cubert Co-Partitioned Blocks话接上文Cubert PartitionedBlocks，我们介绍了Cubert的核心Block概念之一的分区块，它是一种根据partitionKeys和cost function来对原始数据进行Redistribution和Transformation来结构化数据，这种结构化的...
分类：
其他好文 时间：
2015-07-01 12:18:05
阅读次数：
140
导读：ETL，Extraction-Transformation-Loading的缩写，即数据抽取（Extract）、转换（Transform）、装载（Load）的过程，它是构建数据仓库的重要环节。关键词：ETL数据仓库OLTPOLAP ETL，Extraction-Transformation-....
分类：
其他好文 时间：
2015-06-14 18:08:12
阅读次数：
163
题目：Given two words (startandend), and a dictionary, find all shortest transformation sequence(s) fromstarttoend, such that:Only one letter can be chan...
分类：
编程语言 时间：
2015-06-14 15:01:43
阅读次数：
216
写了一个做简单的affine transformation的程序，可以做一部分现行的纠正最终理想是用户可以自定义一堆控制点，然后用户可以调整每一个控制点的期望位置，与此同时程序就动态的显示变化后的图像难点是 1. 控制点调整算法？ 2. UI， 包括显示控制点，确定用户选中与否，选中后计算用户移动纠...
分类：
其他好文 时间：
2015-06-13 17:02:12
阅读次数：
141
Computer Transformation
Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)
Total Submission(s): 6543 Accepted Submission(s): 2378
Problem Description
A ...
分类：
其他好文 时间：
2015-06-09 17:23:55
阅读次数：
124
分析：复杂的线段树操作。只有一个询问操作，就是询问[l，r]之间数的p次方之和，不可能全部查询所有的节点，会TLE，最好就是查询一段[a，b]，这段区间所有的值都相等，即可以返回（b-a+1）*val 的值。根据询问操作可知要维护的是区间内所有值都相同的情况的区间。对于置初值和加乘操作，分两种情况：1、当为置初值操作，直接覆盖区间即可，并把标记的加乘操作赋为初始值。2、当为加乘操作时，先判断当前区...
分类：
其他好文 时间：
2015-06-08 19:42:19
阅读次数：
177
