spark自带的example中就有streaming结合kafka使用的案例：$SPARK_HOME/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala使用方法参见代码描述：Usage: ...
分类：
其他好文 时间：
2014-09-10 17:29:50
阅读次数：
219
Spark Streaming 是基于spark的流式批处理引擎，其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。本节描述了Spark Streaming作业的执行流程。图1 Spark Streaming作业的执行流程具体流程：客户端提交作业后启...
分类：
其他好文 时间：
2014-08-30 13:52:19
阅读次数：
292
OPTIONS rtsp://192.168.1.154:8557/h264 RTSP/1.0CSeq: 1User-Agent: VLC media player (LIVE555 Streaming Media v2010.05.28)RTSP/1.0 200 OKCSeq: 1Date: Sa...
分类：
其他好文 时间：
2014-08-29 12:41:17
阅读次数：
240
參照 http://tools.ietf.org/html/draft-pantos-http-live-streaming-08， 能够对M3U8有比較系统的认识。 HLS(HTTP Live Streaming)是苹果公司针对iPhone、iPod、iTouch和iPad等移动设备而开发的基.....
分类：
其他好文 时间：
2014-08-27 20:07:58
阅读次数：
192
1.Spark Streaming 代码分析：
1.1 示例代码DEMO：
实时计算的WorldCount：
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.StreamingContext._
import org....
分类：
其他好文 时间：
2014-08-24 00:24:21
阅读次数：
615
向量之间的相似度
度量向量之间的相似度方法很多了，你可以用距离（各种距离）的倒数，向量夹角，Pearson相关系数等。
皮尔森相关系数计算公式如下：
分子是协方差，分子是两个变量标准差的乘积。显然要求X和Y的标准差都不能为0。
因为,所以皮尔森相关系数计算公式还可以写成：
当两个变量的线性关系增强时，相关系数趋于1或-1。
用户评分预测
...
分类：
其他好文 时间：
2014-08-21 19:28:24
阅读次数：
796
原理：Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer。Mapper和Reducer都是可执行文件，它们从标准输入读入数据（一行一行读）， 并把计算结果发给标准输出。Streaming工具会创建一个Map/Re...
分类：
其他好文 时间：
2014-08-20 16:16:52
阅读次数：
234
Chrome 截获 流媒体
现在虽然有相关扩展程序 但并不能通杀 很多针对的是YouTube或一些国外网络电台。
你可以进入https://chrome.google.com/extensions?hl=zh-CN 搜索关键字 FLV link 或 Streaming Media 我亲测 都不支持优酷 其他在线听歌网站未测试。当然，可以手动让别的网站帮你找地址，http://w...
分类：
Web程序 时间：
2014-08-18 22:05:03
阅读次数：
1019
XML 基础教程XML 和 Java 技术Java XML文档模型JAXP（Java API for XML Parsing）StAX（Streaming API for XML）XJ（XML Enhancements for Java）XML 验证XPathXQueryXSL 转换处理器XStre...
分类：
编程语言 时间：
2014-08-16 16:59:10
阅读次数：
207
1．流媒体( Streaming Media) 1.1流媒体概念 流媒体技术是网络技术和多媒体技术发展到一定阶段的产物。术语流媒体既可以指在网上传输连续时基媒体的流式技术,也可以指使用流式技术的连续时基媒体本身。在网上传输...
分类：
其他好文 时间：
2014-08-11 18:21:43
阅读次数：
234
