Spark StreamingSpark Streaming 使用 Spark API 进行流计算，这意味着在 Spark 上进行流处理与批处理的方式一样。因此，你可以复用批处理的代码，使用 Spark Streaming 构建强大的交互式应用程序，而不仅仅是用于分析数据。Spark Streami... ...
分类：
其他好文 时间：
2016-06-25 08:25:53
阅读次数：
270
Flink DataStream Join CoGroup scala...
分类：
其他好文 时间：
2016-06-24 15:14:13
阅读次数：
547
Flink DataStream EventTime...
分类：
Windows程序 时间：
2016-06-17 17:22:28
阅读次数：
1374
现在，网上基于spark的代码基本上都是Scala，很多书上也都是基于Scala，没办法，谁叫spark是Scala写出来的了，但是我现在还没系统的学习Scala，所以只能用java写spark程序了，spark支持java，而且Scala也基于JVM,不说了，直接上代码这是官网上给出的例子，大数据学习中经典案例单词计数
在linux下一个终端 输入 $ nc -lk 9999 然后运行下面的代码...
分类：
编程语言 时间：
2016-06-12 03:02:21
阅读次数：
216
这一期内容超级长，放大招咯哈哈 华为弹性大数据（BigData） 弹性大数据服务（BigData）提供Hadoop、Spark、Spark SQL、HBase、实时流计算、在线分析和机器学习等能力，能灵活应对数据导入、数据分析和报表展示等各种诉求。其高性能、低成本、安全、易用、稳定、开放的特点能轻松 ...
分类：
其他好文 时间：
2016-05-20 00:55:37
阅读次数：
227
最近在看消息队列框架 ，alibaba的RocketMQ单机支持1万以上的持久化队列，支持诸多特性， 目前RocketMQ在阿里集团被广泛应用在订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等场景 比kafka还是有过之无不及，其实kafka文档很丰富 但RocketMQ网上的 ...
分类：
其他好文 时间：
2016-05-15 19:33:45
阅读次数：
1784
本期内容：
1 在线动态计算分类最热门商品案例回顾与演示
2 基于案例贯通Spark Streaming的运行源码
1 在线动态计算分类最热门商品案例回顾与演示
我们用Spark Streaming+Spark SQL来实现分类最热门商品的在线动态计算。代码如下：
package com.dt.spark.streaming
impo...
分类：
其他好文 时间：
2016-05-13 03:26:14
阅读次数：
249
本期内容：
1、在线动态计算分类最热门商品案例回顾与演示
2、基于案例贯通Spark Streaming的运行源码
第一部分案例：
package com.dt.spark.sparkstreaming
import com.robinspark.utils.ConnectionPool
import org.apache.spark.SparkConf
im...
分类：
其他好文 时间：
2016-05-13 02:55:25
阅读次数：
154
??
在线动态计算分类最热门商品案例回顾与演示
基于案例贯通Spark Streaming的运行源码
使用Spark Streaming + Spark SQL来在线动态计算电商中不同类别中最热门的商品排名，例如手机这个类别下面最热门的三款手机。
是用mysql数据库作为元数据库，使用Hive作为存储引擎，使用Spark
SQL作为查询引擎。
其中链接...
分类：
其他好文 时间：
2016-05-13 00:48:42
阅读次数：
258
SparkStreaming,贯通Spark Streaming流计算框架,源码...
分类：
其他好文 时间：
2016-05-12 23:12:21
阅读次数：
137
