简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大，启动一个log ...
分类：
其他好文 时间：
2019-08-09 19:55:07
阅读次数：
201
大数据平台是为了满足企业对于数据的各种要求而产生的。大数据平台：是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。大数据平台的功能：1、容纳海量数据利用计算机群集的存储和计算能
分类：
其他好文 时间：
2019-08-08 16:04:32
阅读次数：
108
1. Phoenix Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 特点 1) 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。 2) 性能好：直接使用HBase API以及协处 ...
分类：
其他好文 时间：
2019-08-06 13:54:25
阅读次数：
231
MySQL日志管理4 一.错误日志 作用： 记录mysql数据库的一般状态信息及报错信息，是我们对于数据库常规报错处理的常用日志。 默认位置： $MYSQL_HOME/data/ 开启方式:（MySQL安装完后默认开启) 三.一般查询日志 作用： 记录mysql所有执行成功的SQL语句信息，可以做审 ...
分类：
数据库 时间：
2019-07-30 21:52:13
阅读次数：
139
Flume Kafka 测试案例，Flume 的配置。 1. 启动 kafka。 2. 创建 kafka topic，flume配置中的 topic 为 t1。 3. 启动 flume。 4. 启动 kafka 的消费者，来观察看是否成功。 5. 由于 flume 配置文件中监控的命令是 netca ...
分类：
Web程序 时间：
2019-07-28 20:18:07
阅读次数：
144
Spark-Streaming DirectKafka count 统计跟直接 kafka 统计类似，只不过这里使用的是 Direct 的方式，Direct方式使用的 kafka 低级API，不同的地方主要是在 createDirectStream这里。 统计代码如下 启动相关的 flume，kaf ...
分类：
其他好文 时间：
2019-07-28 19:56:51
阅读次数：
109
Streaming 统计来自 kafka 的数据，这里涉及到的比较，kafka 的数据是使用从 flume 获取到的，这里相当于一个小的案例。 1. 启动 kafka 2. 启动 flume flume 配置文件如下 这里 flume 是的数据是来自一个文件，只要这个文件有数据进入，就会被flume ...
分类：
其他好文 时间：
2019-07-28 19:55:02
阅读次数：
110
Flume应用开发 要求： Flume应用场景Flume的核心是把数据从数据源收集过来，在送到目的地。为了保证输送一定成功，发送到目的地之前，会先缓存数据，待数据真正的到达目的地后，删除自己缓存的数据。Flume采用流式方法采集和传输数据，程序配置好后，不需要外部条件触发下，一直监控数据源，源源不断 ...
分类：
Web程序 时间：
2019-07-28 17:10:09
阅读次数：
140
本篇文章我们将讨论SIEM解决方案的另一个非常重要的因素:集成合规性管理。现如今，数据泄露的情况愈来愈严重，以及企业每天还要面对各种的网络***合规要求也越来越严格。Log360通过提供一系列如下所述的功能，帮助企业遵守这些规则:预定义的合规性报表:Log360提供了多个预定义合规性报表，包括PCIDSS、SOX、HIPAA、FISMA、GLBA、ISO27001、GDPR以及信息安全等级保护（IS
分类：
其他好文 时间：
2019-07-26 19:22:57
阅读次数：
112
环境 eclipse 4.7 jdk 1.8 Spring Boot 1.5.2 一、log4j 常见方式：log4j.properties + org.apache.log4j.Logger比如：log4j.properties： controller： 二、AOP 切面记录日志1、引入依赖 2、 ...
分类：
编程语言 时间：
2019-07-23 18:53:17
阅读次数：
99
