Spark专用名词
RDD —- resillient distributed dataset 弹性分布式数据集
Operation —- 作用于RDD的各种操作分为transformation和action
Job —- 作业,一个JOB包含多个RDD及作用于相应RDD上的各种operation
Stage —- 一个作业分为多个阶段
Partition —- 数据分区, 一个RDD中的数据可以分...
分类:
其他好文 时间:
2015-07-08 16:41:59
阅读次数:
138
弹性分布数据集RDDRDD(Resilient Distributed Dataset)是Spark的最基本抽象,是对分布式内存的抽象使用,实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spark最核心的东西,它表示已被分区,不可变的并能够被并行操作的数据集合,不同的数据集格式对应不同的RDD实现。RDD必须是可序列化的。RDD可以cache到内存中,每次对RDD数据集的操作之后的...
分类:
其他好文 时间:
2015-07-08 16:40:37
阅读次数:
936
Spark应用概念Spark应用(Application)是用户提交的应用程序。执行模式又Local、Standalone、YARN、Mesos。根据Spark Application的Driver Program是否在集群中运行,Spark应用的运行方式又可以分为Cluster模式和Client模式。
下面是Spark应用涉及的一些基本概念:
Application:Spark 的应用...
分类:
其他好文 时间:
2015-07-08 16:39:37
阅读次数:
178
一直都是编译armabi的,没有任何问题,这个架构是软件模拟浮点运算的。
后来看到NDK文档上说armabi-v7a是针对有硬件处理浮点计算的arm cpu的。
于是就修改配置编译armebai-v7a的so文件。
结果是编译没问题,一运行就是crash掉,Fatal signal 7 (SIGSEGV)错误。
进过排查才发现,crash掉的仅仅是对一个浮点变量赋值而已。
...
分类:
其他好文 时间:
2015-07-08 16:41:44
阅读次数:
133
BZOJ 3172 [Tjoi2013]单词 AC自动机(fail树)...
分类:
其他好文 时间:
2015-07-08 16:41:24
阅读次数:
164
上拉刷新数据、下拉刷新数据、上拉不刷新数据、下拉不刷新数据...
分类:
其他好文 时间:
2015-07-08 16:40:55
阅读次数:
99
过去的工作方法需要反省
----过去的一系列短暂的工作都做得不快乐。因为每一份工作都有其本身的短板,或待遇差,或发展有限,或人际复杂,而这些短板恰恰是你不能容忍的。我们不要去怨天尤人,而是要直面这些现实。
----所有的工作短板肯定存在,但是优点肯定也有。有的短板很明显,有的优点很不明显;有的短板是暂时的,有的优点要长期才能显现。因此,下一份工作,你需要隐忍一时的短板,去期待长期...
分类:
其他好文 时间:
2015-07-08 16:39:30
阅读次数:
112
1、C#工程中调用外部应用程序,可能会导致死锁,如下面情况:
C#工程调用外部程序,标准输出流被重定向,而Process.StandardOutput的缓冲大小是有限制的(据说是4k),所以当缓冲满了的时候,子进程(a.exe)会等待主进程(C# App)读取并释放此缓冲,而主进程由于调用了WaitForExit()方法,则会一进等待子进程退出,最后形成死锁。
...
分类:
其他好文 时间:
2015-07-08 16:39:37
阅读次数:
124
GPS项目中涉及到的技术有地图纠偏,js与winform c#的交互等方面:
1 google地图纠偏,可以私下call我...QQ(964877814)....,其实主要因为考虑到政治以及军事安全的问题,所以国内的地图存在偏差,而且不同地方的偏差不同,但是相应的计算偏差的算法不可能公开的缘故,所以只能依靠一些纠偏数据来纠正。
纠偏数据可以自己获得,因为地图所谓的偏差值只是...
分类:
其他好文 时间:
2015-07-08 16:37:47
阅读次数:
173
CC 英文全称是 Carbon Copy(抄送);
BCC英文全称是 Blind CarbonCopy(暗抄送)。
两者的区别在于在BCC栏中的收件人可以看到所有的收件人名(TO,CC,BCC),而在TO 和CC栏中的收件人看不到BBC的收件人名。
电子邮件可以有三种类型的收件人,分别to、cc(carbon copy)和bcc(blind car...
分类:
其他好文 时间:
2015-07-08 16:38:16
阅读次数:
963
在iOS中播放视频可以使用MediaPlayer.framework种的MPMoviePlayerController类来完成,它支持本地视频和网络视频播放。这个类实现了MPMediaPlayback协议,因此具备一般的播放器控制功能,例如播放、暂停、停止等。
/**
* 初始化MPMoviePlayerController
*
* @return 返回一个MPMoviePlayerController的实例
*/
- (MPMoviePlayerController *)moviePlayer...
分类:
其他好文 时间:
2015-07-08 16:35:33
阅读次数:
126
When the sending side sees a duplicate ACK, it knows that the other side must have received a packet out of order, which suggests that an earlier packet might have been lost.
Since it is also p...
分类:
其他好文 时间:
2015-07-08 16:37:40
阅读次数:
158
和我徒弟一样发文纪念下,信息系统项目管理师考试45分,我报好名,开始复习,具体时间,自己去某网站看,上面写着倒计时70天,也不知道对不对。把我 一次通过信息系统项目管理师考试过程进行一个简单回顾, 供各位考友参考。...
分类:
其他好文 时间:
2015-07-08 16:35:01
阅读次数:
246
Queue简介
queue是队列容器,是一种“先进先出”的容器。
queue是简单地装饰deque容器而成为另外的一种容器。
#include
queue对象的默认构造
queue采用模板类实现,queue对象的默认构造形式:queue queT; 如:
queue queInt; //一个存放int的queue容器。
queue queFloat; /...
分类:
其他好文 时间:
2015-07-08 16:35:57
阅读次数:
115
/*
统计一个文件内,英文单词的个数,并按 word = count的格式顺序输出
统计输出总的英文单词个数
*/
#include
#include
#include
#include
#include
using namespace std;
int main(){
string line;
//打开输入文件
ifstream input("transform.txt"...
分类:
其他好文 时间:
2015-07-08 16:35:22
阅读次数:
129
如果你跟我一样是初学easyui的话,当然前提你要对html、csss、javascript有一定的了解了,你会发现我们想使用easyui中的控件时,会发现class=“easyui-panel”等类似的样式类,我们在所引用的css文件中是找不到的。
这是为什么呢?初始的时候或许你跟我一样,花了比较长的时间去找css文件中的样式类,但都是无功而返。当我打开easyui.min.js会惊喜的发现...
分类:
其他好文 时间:
2015-07-08 16:34:35
阅读次数:
137
下面两种签名方法,都是对csp.dll签名,都不是CA颁发的,且效果不同,
一:通过自建证书签名
下载windows sdk,安装成功后,包含makecert.exe, cert2spc.exe, pvk2pfx.exe, signtool.exe工具,将要签名的csp.dll也放入工具目录,cmd命令切换到工具目录,再执行以下命令
1.生成签名证书:
makecert -sv cs...
分类:
其他好文 时间:
2015-07-08 16:34:32
阅读次数:
238