查看博客请转到 iCocos梦工厂 个人微信：18370997821 QQ：790806573 weibo:18370998721 谢谢： ...
分类：
移动开发 时间：
2016-08-01 19:36:41
阅读次数：
152
感谢DT大数据梦工厂支持提供技术支持，DT大数据梦工厂专注于Spark发行版定制。 本期概览： 1 Receiver生命全周期 首先，我们找到数据来源的入口，入口如下 Receiver的设计是极其巧妙的。它的设计非常的出色，很多的地方都值得我们认真的学习。 在深入认识Receiver之前，我们有必要 ...
分类：
其他好文 时间：
2016-05-21 20:21:58
阅读次数：
225
感谢DT大数据梦工厂支持提供技术支持，DT大数据梦工厂专注于Spark发行版定制。 本期概览： 数据接收全生命周期的思考 大数据处理框架中，最重要的就是性能，性能是排在前面的。其次再考虑其他的。因为数据量大，一不小心的多余的操作，几分钟，十几分钟就过去了。 根据一般的架构设计原则，接收数据和存储数据 ...
分类：
其他好文 时间：
2016-05-21 20:17:15
阅读次数：
136
DT大数据梦工厂第三十五课 Spark系统运行循环流程
内容：
1. TaskScheduler工作原理
2. TaskScheduler源码...
分类：
其他好文 时间：
2016-05-18 19:25:08
阅读次数：
387
感谢DT大数据梦工厂支持提供以下内容，DT大数据梦工厂专注于Spark发行版定制。详细信息请查看
联系邮箱18610086859@126.com
电话：18610086859
QQ:1740415547
微信号：18610086859定制班：第三课 解读spark –streaming运行机制一 从实战出发首先我们运行以下的程序，然后通过这个程序的运行过程进一步加深理解Spark S...
分类：
其他好文 时间：
2016-05-13 03:13:33
阅读次数：
205
ＤＴ大数据梦工厂联系方式：新浪微博：www.weibo.com/ilovepains/微信公众号：DT_Spark博客：http://.blog.sina.com.cn/ilovepains一：sparkSQL 下的Parquet意义再思考存储空间包括：内存和磁盘，计算方面如果说HDFS是大数据时代分布式文件系统存储的事实标准的话，parquet则是整个大数据时代文件存储格式的事实标准。1、 速度...
分类：
数据库 时间：
2016-05-13 02:00:33
阅读次数：
275
感谢DT大数据梦工厂支持提供以下内容，
DT大数据梦工厂专注于Spark发行版定制。详细信息请查看
联系邮箱18610086859@126.com
电话：18610086859
QQ:1740415547
微信号：18610086859上节课通过降维的方式宏观整个spark streaming的运行的过程，spark-streaming其本质是构建在spark-core之上的一个应...
分类：
其他好文 时间：
2016-05-12 23:09:19
阅读次数：
120
感谢DT大数据梦工厂支持提供以下内容，DT大数据梦工厂专注于Spark发行版定制。详细信息请查看
联系邮箱18610086859@126.com
电话：18610086859
QQ:1740415547
微信号：18610086859一 为什么从Spark Streaming入手？Spark目前有四个Spark SQL, Spark Streaming, MLlib(machine...
分类：
其他好文 时间：
2016-05-12 22:54:46
阅读次数：
179
参考
http://hadoop.apache.org/
王家林 DT大数据梦工厂系列 ， 致谢！
网上关于三次工业革命的各种杂乱文章
问题
大数据对程序员意味着什么？
随笔
在这个城市的冬天遇见你...
分类：
其他好文 时间：
2016-05-12 20:15:28
阅读次数：
189
Spark Streaming事务处理彻底掌握 感谢DT大数据梦工厂支持提供以下内容，DT大数据梦工厂专注于Spark发行版定制。 内容概括： 1Exactly once 2 输出不重复 1 正如银行转账业务一样，如果你给一个朋友转账一次，银行的系统必须保证此次的转账数据有且只能处理一次，不能出现另 ...
分类：
其他好文 时间：
2016-05-05 08:25:55
阅读次数：
142
