foreachRDD(SparkStreaming): SparkStreaming是流式实时处理数据,就是将数据流按照定义的时间进行分割(就是"批处理").每一个时间段内处理到的都是一个RDD.而SparkStreaming中的foreachRDD方法就是在处理每一个时间段内的RDD数据. DSt ...
分类：
其他好文 时间：
2018-11-24 14:33:00
阅读次数：
528
一、前言 1、上一文搭建好了Hadoop单机模式，这一文继续搭建Hadoop集群 二、搭建Hadoop集群 1、根据上文的流程得到两台单机模式的机器，并保证两台单机模式正常启动，记得第二台机器core-site.xml内的fs.defaultFS参数值要改成本机的来启动，启动完毕后再改回来 2、清空 ...
分类：
其他好文 时间：
2018-11-21 11:01:35
阅读次数：
171
VLC 媒体播放器 VLC 媒体播放器是一个便携式、 免费、开源、 跨平台的媒体播放器。 VideoLAN 项目的流式媒体服务器。分为Windows Phone版本和Android版本。 下载地址： RTMP流媒体播放过程 本文描述了从打开一个RTMP流媒体到视音频数据开始播放的全过程。 注意：RT ...
分类：
其他好文 时间：
2018-11-20 21:44:48
阅读次数：
293
一些理论知识 先说一下deflate算法吧，deflate是zip压缩文件的默认算法， 其实deflate现在不光用在zip文件中, 在7z, xz等其他的压缩文件中都用， 实际上deflate只是一种压缩数据流的算法，任何需要流式压缩的地方都可以用。 也就是说 zlib 格式, gzip 格式，是 ...
分类：
Web程序 时间：
2018-11-16 15:15:15
阅读次数：
191
响应式Web设计经常需要我们通过百分比设置组件宽度。如果我们不考虑边框，那么很容易就可以实现，但如果你给每一列以及总宽度都采用百分比设置，那这个时候固定的边框大小就会出来捣乱。下面我们将看到一组方法去解决这个问题，你会学到如何创建一个流式布局，而不用担心额外的边框以及内边距。 假设我们需要一个五列的 ...
分类：
其他好文 时间：
2018-11-15 22:39:10
阅读次数：
280
11月14日，阿里云重磅发布了实时计算独享模式，即用户独享一部分物理资源，这部分资源在网络/磁盘/CPU/内存等资源上跟其他用户完全独立，是实时计算在原有共享模式基础上的重大升级。（观看实时计算发布会直播：https://yq.aliyun.com/live/591） 独享模式优点更加突出1、UDX开放：实时计算的共享模式是多个用户共享一个物理机群，在网络/磁盘层面没有办法做到完全隔离。
分类：
其他好文 时间：
2018-11-15 19:49:49
阅读次数：
215
大数据学习路径我vx①⑤零零③④③⑥⑨③①备注A更多大数据第一阶段linux+搜索+hadoop体系Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一第二阶段机器学习R语言→mahout→项目实战二第三阶段storm流式计算kafka→storm→red
分类：
其他好文 时间：
2018-11-13 20:36:33
阅读次数：
180
相比SparkStream、KafkaStream、Storm等，为什么阿里会选择Flink作为新一代流式计算引擎？前期经过了哪些调研和对比？大沙：我们是2015年开始调研新一代流计算引擎的。我们当时的目标就是要设计一款低延迟、exactlyonce、流和批统一的，能够支撑足够大体量的复杂计算的引擎。Sparkstreaming的本质还是一款基于microbatch计算的引擎。这种引擎一个天生的缺
分类：
其他好文 时间：
2018-11-13 10:26:17
阅读次数：
192
1.TCP (流式协议) 半连接池的工作原理 目前我们的程序是单线程 服务器要么处理通讯要么处理连接请求 无法同时进行2.TCP 和 UDP 发送数据时的流程 ***** 解释 为何TCP是可靠的 是因为发送数据后必须收到确认包3. UDP的模板代码 ***** 1、UDP协议： (数据报协议) 特 ...
分类：
编程语言 时间：
2018-11-08 20:12:56
阅读次数：
120
粘包问题 上一篇博客遗留了一个问题，在接收的最大字节数设置为 1024 时，当接收的结果大于1024，再执行下一条命令时还是会返回上一条命令未执行完成的结果。这就是粘包问题。 因为TCP协议又叫流式协议，每次发送给客户端的数据实际上是发送到客户端所在操作系统的缓存上，客户端就是一个应用程序，需要通过 ...
分类：
编程语言 时间：
2018-11-06 00:47:21
阅读次数：
168
