版权声明：本文为博主原创文章，未经博主允许不得转载。作者：HaiziS 昨晚听了王家林老师的Spark IMF传奇行动第22课：RDD的依赖关系彻底解密，笔记如下： 1,窄依赖是指每个父RDD的一个Partition最多被子RDD的一个Partition所使用，例如map、filter、union等
分类：
其他好文 时间：
2016-01-30 13:30:22
阅读次数：
204
版权声明：本文为博主原创文章，未经博主允许不得转载。作者：HaiziS 昨晚听了王家林老师的Spark IMF传奇行动第21课：从Spark架构中透视Job，笔记如下： 默认一个worker有一个executor，也可以设置多个，当cpu利用不足时。 并行度也是被继承的 当Spark集群启动的时候，
分类：
其他好文 时间：
2016-01-29 00:27:22
阅读次数：
230
版权声明：本文为博主原创文章，未经博主允许不得转载。作者：HaiziS今晚听了王家林老师的Spark IMF传奇行动第20课：top N，作业是：scala写topGroup，且对组名key排序代码如下:def main(args: Array[String]){ val conf = new...
分类：
其他好文 时间：
2016-01-26 01:41:30
阅读次数：
354
大一上学期就这么过去了，很忙很充实。由于各种因素，我进入了计算机类专业，这个我一直以来认为是一项很酷的专业。我对科技，尤其是对互联网的崛起充满了浓厚的兴趣和深深的震撼。在高中的时候，我在闲暇之余翻阅了《浪潮之巅》、《史蒂夫?乔布斯传》以及扎克伯格等创业大亨的纪录文章，我为他们传奇般的人生所痴迷。我....
分类：
其他好文 时间：
2016-01-25 19:18:39
阅读次数：
135
今晚听了王家林老师的Spark IMF传奇行动第19课：spark排序，作业是：1、scala 实现二次排序，使用object apply 2；自己阅读RangePartitioner代码如下:/** * Created by 王家林 on 2016/1/10. */object Secondary...
分类：
编程语言 时间：
2016-01-25 00:02:08
阅读次数：
633
1-刀塔传奇已经搞定啦，关键点是，直接用dlsym打开so文件调用函数，然后 java代码用cydia（需要安装框架）去加载javahook代码，然后关键的是在这个java代码中调用刚才写好的hook的那个SO2-在看雪看到了一点-从native世界进入java世界.熟悉jni编程的都知道,java...
分类：
其他好文 时间：
2016-01-24 15:38:55
阅读次数：
135
昨晚听了王家林老师的Spark IMF传奇行动第18课：RDD持久化、广播、累加器，作业是unpersist试验，阅读累加器源码看内部工作机制：scala> val rdd = sc.parallelize(1 to 1000)rdd: org.apache.spark.rdd.RDD[Int] =...
分类：
其他好文 时间：
2016-01-24 12:52:11
阅读次数：
471
今晚听了王家林老师的Spark IMF传奇行动第17课Transformations实战，作业是用SCALA写cogroup：def main(args: Array[String]): Unit = { val sc = sparkContext("Transformations") ...
分类：
其他好文 时间：
2016-01-23 07:48:38
阅读次数：
169
今晚听了王家林老师的Spark IMF传奇行动第16课RDD实战，课堂笔记如下：RDD操作类型：Transformation、Action、Contollerreduce要符合交换律和结合律val textLines = lineCount.reduceByKey(_+_,1)textLines.c...
分类：
其他好文 时间：
2016-01-21 01:47:53
阅读次数：
153
《只是为了好玩：Linux之父林纳斯自传》是一本很古老的书了，2001年就有了中文版，在2014的时候图灵图书又把它重新翻译出版了。Linus是与乔布斯可以相提并论的传奇人物，那么这本书里告诉了我们什么轶闻趣事呢。#1正如所有计算机天才，在儿时的时候都很早接触到了计算机。对于Linus，那时统计学教...
分类：
系统相关 时间：
2016-01-19 15:43:43
阅读次数：
197
