内容：1、基础排序算法实战；2、二次排序算法实战；3、更高局级别排序算法；4、排序算法内幕解密；为啥讲排序？因为在应用的时候都有排序要求。海量数据经常排序之后要我们想要的内容。==========基础排序算法============scala>sc.setLogLevel("WARN")scala>valx=sc.tex..
分类：
编程语言 时间：
2016-02-21 06:51:00
阅读次数：
582
内容：1、RDD持久化实战；2、Spark广播实战；3、Spark累加器实战；持久化实战几个方面：1、怎么保存结果；2、实现算法的时候cache、persist；3、checkpoint广播：构建算法至关重要，降低网络传输数据量、提高内存的使用效率、加快程序的运行速度累加器：全局的指针部件的变量，..
分类：
其他好文 时间：
2016-02-21 06:49:42
阅读次数：
646
内容：1、Spark天堂之门；2、SparkContext使用案例鉴赏；3、SparkContext内幕；4、SparkContext源码解密；SparkContext是编写任意Spark程序的第一个对象，用SparkConf为传入的参数==========Spark天堂之门：SparkContext！！！============1、Spark程序在运行的时候分为Driver..
分类：
其他好文 时间：
2016-02-21 06:48:27
阅读次数：
1031
内容：1、为什么使用Sorted-BasedShuffle；2、Sorted-BasedShuffle实战；3、Sorted-BasedShuffle内幕；4、Sorted-BasedShuffle的不足；最常用的Shuffle方式，Sorted-BasedShuffle涉及了大规模Spark开发、运维时核心问题，以及答案的要害所在。必须掌握这一讲内容。本课是从Spar..
分类：
其他好文 时间：
2016-02-21 06:48:14
阅读次数：
277
内容：1、map、filter、flatmap等操作回顾；2、reduceBykey、groupBykey；3、jion、cogroug；算子共同特点：都是最常用的算子，构建复杂算法的基石，都是lazy级别的，不属于action创建SparkContext是Spark的起点，只有创建SparkContext，才能创建RDD==========map============..
分类：
其他好文 时间：
2016-02-08 17:31:39
阅读次数：
311
大数据未来几年发展的重点方向，大数据战略已经在十八届五中全会上作为重点战略方向，中国在大数据方面才刚刚起步，但是在美国已经产生了上千亿的市场价值。举个例子，美国通用公司是一个生产飞机发动机的一个公司，这家公司在飞机发动机的每一个零部件上都安装了传感器，这些传感器在飞机发动机运作的同时不断的把发动机状...
分类：
其他好文 时间：
2015-11-25 10:11:34
阅读次数：
210
接触大数据有几年，以前一直都是对hadoop的使用。相比于日新月异的前端技术，我还是比较喜欢大数据--这个已经被热炒多年的课题，也相信从事大数据方面的技术研究是IT从业者的一条光明坦途。 2010年hadoop开始进入我的视野， 不断自学，使用，感谢hadoop国内还是有很多书籍。去年开始各大...
分类：
其他好文 时间：
2015-11-16 00:36:37
阅读次数：
385
DT大数据梦工厂免费在百度 网盘分享的大数据视频：1，《Scala深入浅出实战经典》http://pan.baidu.com/s/1pJnAUr52，《Spark纯实战公益大讲坛》http://pan.baidu.com/s/1sLeVk3，《Docker公益大讲坛》http://pan.baidu...
分类：
其他好文 时间：
2015-10-19 07:02:39
阅读次数：
179
王家林亲授《DT大数据梦工厂》大数据实战视频 Scala 深入浅出实战经典（1-97讲）完整视频、PPT、代码下载：百度云盘：http://pan.baidu.com/s/1c0noOt6 腾讯微云：http://url.cn/TnGbdC 360云盘：http://yunpan.cn/cQ4c2U...
分类：
其他好文 时间：
2015-09-12 21:44:10
阅读次数：
149
SBT的Console是交互的，能打包编译工程。DT大数据梦工厂微信公众账号：DT_Spark。DT大数据梦工厂的微信公众号是DT_Spark，每天都会有大数据实战视频发布，请您持续学习。王家林DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.com/share/home?uk=4..
分类：
编程语言 时间：
2015-09-12 08:30:20
阅读次数：
267
