通过上文 Window7 开发 Spark 应用 ,展示了如何开发一个Spark应用，但文中使用的测试数据都是自己手动录入的。 所以本文讲解一下如何搭建一个开发闭环，本里使用了Nginx日志采集分析为例，分析页面访问最多的10个,404页面的10。 如果把这些开发成果最终展示到一个web网页中，在这 ...
一、安装地址 1） Flume官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist/flume/ 二、安装部署 ...
分类：
Web程序 时间：
2020-03-20 22:10:33
阅读次数：
67
之前聊了一下graylog如何采集nginx日志，为此我介绍了两种采集方法（主动和被动），让大家对graylog日志采集有了一个大致的了解。 从日志收集这个角度，graylog提供了多样性和灵活性，大家可以根据自身场景选择适合自己的一种。 这次要跟大家聊的是如何通过graylog采集mysql慢日志 ...
分类：
数据库 时间：
2020-03-16 14:56:32
阅读次数：
110
作者|元乙阿里云存储服务技术专家导读：上一篇文章主要介绍Kubernetes日志输出的一些注意事项，日志输出最终的目的还是做统一的采集和分析。在Kubernetes中，日志采集和普通虚拟机的方式有很大不同，相对实现难度和部署代价也略大，但若使用恰当则比传统方式自动化程度更高、运维代价更低。本文为日志系列文章的第4篇。第一篇：《6个K8s日志系统建设中的典型问题，你遇到过几个？》第二篇：《一文看懂K
分类：
其他好文 时间：
2020-03-13 14:38:11
阅读次数：
57
作者 | 元乙 阿里云存储服务技术专家 导读 ： "上一篇文章" 主要介绍 Kubernetes 日志输出的一些注意事项，日志输出最终的目的还是做统一的采集和分析。在 Kubernetes 中，日志采集和普通虚拟机的方式有很大不同，相对实现难度和部署代价也略大，但若使用恰当则比传统方式自动化程度更高 ...
分类：
其他好文 时间：
2020-03-13 11:31:03
阅读次数：
80
1. 拉高视角，从宏观看网络安全攻防 伴随着信息化的发展，网络安全的问题就一直日益突出，与此同时，网络安全技术也成为研究热点，直到今日也没有停止。 从微观来看，网络安全技术研究指的是针对某项或某几项指标的完善，例如： 针对WEB系统漏洞的挖掘和利用，以及与此相应的日志采集以及关键点审计技术，例如RA ...
分类：
其他好文 时间：
2020-03-01 12:09:10
阅读次数：
158
1. Flume介绍 1.1 Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 1.2 系统功能 1 ...
分类：
Web程序 时间：
2020-02-17 15:40:44
阅读次数：
95
1、定义 Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布，可靠的，可用的系统。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2、架构图 3、常见概念理解 ①client：客户端，运行agent的地方，每台机器只运行一个agent ...
分类：
Web程序 时间：
2020-02-14 11:00:40
阅读次数：
89
1、Flume简单介绍 Apache Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2、Flume体系结构 ...
分类：
Web程序 时间：
2020-02-13 12:37:38
阅读次数：
78
今天主要进行了spark实验六的学习，Spark Streaming 编程初级实践 Flume 是非常流行的日志采集系统，可以作为 Spark Streaming 的高级数据源。请把 Flume Source 设置为 netcat 类型，从终端上不断给 Flume Source 发送各种消息，Flu ...
分类：
其他好文 时间：
2020-02-06 14:42:22
阅读次数：
107
