SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似Map、Reduce和Join等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。 同Spark初始化需要创建 ...
分类：
其他好文 时间：
2019-06-21 12:55:32
阅读次数：
92
数据发生器产生的数据被被单个的运行在数据发生器所在服务器上的agent所收集，之后数据收容器从各个agent上汇集数据并将采集到的数据存入到HDFS或者HBase中。 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。） Flume 运行的核心是 Agent。Flu ...
分类：
其他好文 时间：
2019-06-21 12:42:20
阅读次数：
107
声明一个实体类Car 1.setter方式配置Bean 需要getter和setter方法 2.构造方法配置Bean 3.工厂方式配置Bean 3.1 静态工厂方法 声明一个工厂类 XML配置如下 3.2 普通工厂方法 工厂类 XML配置 测试 4.通过FactoryBean配置Bean 实现Fac ...
分类：
编程语言 时间：
2019-06-17 00:32:09
阅读次数：
130
flume 1.x开始 输入数据的读取与输出数据的写入在由 不同的工作线程（称为运行器）来处理了。 在flume 0.9中，输入线程也执行对输出的写入（故障恢复重试除外）。 输出写入器很慢（而不仅仅是完全失败），那么它会阻塞Flume 接收数据的能力。 这种新的异步设计使得输入线程完全意识不到任何下 ...
分类：
编程语言 时间：
2019-06-05 00:42:27
阅读次数：
96
一：Kafka概述 离线部分： Hadoop->离线计算(hdfs / mapreduce) yarn zookeeper->分布式协调（动物管理员） hive->数据仓库（离线计算 / sql）easy coding flume->数据采集 sqoop->数据迁移mysql->hdfs/hive ...
分类：
其他好文 时间：
2019-06-04 09:20:50
阅读次数：
124
目录 1、开发环境 2、用到的模块 3、框架设计 ?3.1、流程 3.2、项目结构 5、日志打印 6、接口请求类封装 7、Excel数据读取 7.1、读取配置文件 7.1、编写Excel操作类 8、用例组装 9、用例运行结果校验 10、运行用例 11 、小结 7、Excel数据读取 7.1、读取配置 ...
分类：
编程语言 时间：
2019-05-27 23:28:32
阅读次数：
168
journalctl工具基础介绍(你需要这个的.) https://blog.51cto.com/13598893/2072212 openstack vlanx 网络配置(测试,虚拟机直接向物理机的路由器申请ip,然后他自己就能上网了. 配置的内网和浮动ip都没生效) https://www.cn ...
分类：
其他好文 时间：
2019-05-25 09:41:17
阅读次数：
96
[ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:256)] FATAL: Spool Directory source source1: { spoolDir: /flume/log/ }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.
java.nio.charset.MalformedInputException: Input length = 1
分类：
编程语言 时间：
2019-05-23 00:52:39
阅读次数：
156
1、实时处理框架 即从上面的架构中我们可以看出，其由下面的几部分构成： Flume集群 Kafka集群 Storm集群 从构建实时处理系统的角度出发，我们需要做的是，如何让数据在各个不同的集群系统之间打通（从上面的图示中也能很好地说明这一点），即需要做各个系统之前的整合，包括Flume与Kafka的 ...
分类：
Web程序 时间：
2019-05-20 21:21:03
阅读次数：
275
基本搭建： 1）解压下载的flume（安装jdk1.6及其以上） 2）在conf文件夹里面建立example.conf文件 3)启动flume 4）新建窗口运行 5）在该窗口输入，另一个窗口会输出记录 flume对接不同的数据源 1、Avro Source 监听AVRO端口来接受来自外部AVRO客户 ...
分类：
Web程序 时间：
2019-05-20 17:17:44
阅读次数：
450
