Spark Streaming源码流程解析。 [toc] 写在前面 以下是我自己梳理了一遍Spark Streaming程序运行的流程，过程可能有点细、有点乱。 大家可以一边看我写的流程、一边跟着步骤点进去看源码，这样就不会太乱了。 跟着源码走一遍以后，对Spark Streaming的理解也就很清 ...
分类：
其他好文 时间：
2020-02-18 11:15:09
阅读次数：
89
1.1 计数器 计数器的作用是用来统计数量的，用于记录特定事件的次数，分为内置计数器、自定义java枚举计数器、自定义Stream计数器三大类。用于质量分析，或应用级统计。分析计数器的值比分析一堆日志更高效。 计数器名称 计数器介绍 内置计数器 Hadoop自带的计数器，有特定的计数器名称。例如统计 ...
分类：
其他好文 时间：
2020-02-12 10:36:11
阅读次数：
69
项目使用批处理方式处理数据，最开始项目很稳定，一秒一批，200ms基本处理完毕。后来数据量激增一倍之后，项目时不时有阻塞的情况发生。解决思路，1，最开始以为计算资源不够用，查看机器之后发现没有问题。2，各个服务器之间通讯速度，用的都是阿里的服务器，把所有服务器调整到一个网段之后，情况仍然没有改善。3 ...
分类：
其他好文 时间：
2020-02-12 10:30:39
阅读次数：
56
出处：https://www.jianshu.com/p/9b4bab5ecbc2 Application.streamingAssetsPath 在ios端和Android端 只能读取而不能修改， 一般在这个文件夹里面存放一些二进制文件（比如AssetBundle,mp4等一些文件）， 这些文件在 ...
分类：
移动开发 时间：
2020-02-09 14:28:27
阅读次数：
86
我们先来以滚动时间窗口为例，来看一下窗口的几个时间参数与Flink流处理系统时间特性的关系。获取窗口开始时间Flink源代码获取窗口的开始时间为以下代码：org.apache.flink.streaming.api.windowing.windows.TimeWindow/** * Method t... ...
分类：
其他好文 时间：
2020-02-07 01:15:39
阅读次数：
143
Flume 官网下载 Flume1.7.0 安装文件，下载地址如下： http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz 下载后，把 Flume1.7.0 安装到 Linux 系统的“/usr/ ...
分类：
其他好文 时间：
2020-02-06 20:19:45
阅读次数：
95
今天主要进行了spark实验六的学习，Spark Streaming 编程初级实践 Flume 是非常流行的日志采集系统，可以作为 Spark Streaming 的高级数据源。请把 Flume Source 设置为 netcat 类型，从终端上不断给 Flume Source 发送各种消息，Flu ...
分类：
其他好文 时间：
2020-02-06 14:42:22
阅读次数：
107
今天完成了实验六 安装了Flume，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2. 使用 Avro 数据 ...
分类：
其他好文 时间：
2020-02-05 23:06:48
阅读次数：
83
1.环境 CDH 5.16.1 Spark 2.3.0.cloudera4 2.核心概念 官网： https://spark.apache.org/docs/2.3.0/streaming programming guide.html GitHub： https://github.com/apach ...
分类：
其他好文 时间：
2020-02-02 23:57:50
阅读次数：
161
本篇我们将使用Java语言来实现Flink的单词统计。代码开发环境准备导入Flink 1.9 pom依赖 org.apache.flink flink-java 1.9.0 org.apache.flink flink-streaming-j... ...
分类：
编程语言 时间：
2020-01-31 13:58:49
阅读次数：
154
