翻译自官网flume1.8用户指南，原文地址：Flume 1.8.0 User Guide 一、 介绍 1. 概述 Apache Flume 是收集、汇总和移动大数据量的不同数据源到集中的数据仓库的分布式的、可靠的、可用的系统。 使用flume 不仅仅可以做日志收集。自从数据源可自定义，flume可 ...
分类：
Web程序 时间：
2019-01-28 17:41:31
阅读次数：
262
前言：最近有些浮躁，大环境变化无常，这种情况下唯有学习才是王道，好吧，开始学习flume！ 一、Flume简介 Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。 Flume 初始的发行版本目前被统称为 Flume OG（original generation） ...
分类：
Web程序 时间：
2019-01-28 00:46:44
阅读次数：
187
一.Exceptionless简介 Exceptionless 是一个开源的实时的日志收集框架，它可以应用在基于 ASP.NET，ASP.NET Core，Web Api，Web Forms，WPF，Console，MVC 等技术栈的应用程序中，并且提供了Rest接口可以应用在 Javascript ...
分类：
Web程序 时间：
2019-01-24 17:58:09
阅读次数：
205
MySQL是关系型数据库 优势： 在不同的引擎上有不同 的存储方式。 查询语句是使用传统的sql语句，拥有较为成熟的体系，成熟度很高。 开源数据库的份额在不断增加，mysql的份额页在持续增长。 缺点： 在海量数据处理的时候效率会显著变慢。 Mongodb是非关系型数据库(nosql )，属于文档型 ...
分类：
数据库 时间：
2019-01-22 19:09:16
阅读次数：
190
测试方案： 主要从几个方面关注，功能 性能 服务端策略（目前所有的这些上报收集等都会通过开关的精细化，通过接口方式将信息返回给APP端，APP端根据相关内容进行上报，因此基于此的上报机制及收集机制都需要清晰） 性能部分，需要关注，如果是日志收集，关注收集周期以及类型，例如有些情况是包含了debug的 ...
分类：
移动开发 时间：
2019-01-21 19:28:51
阅读次数：
257
研究表明，数据泄露与不合规之间存在直接关联。这并不是说合规公司的数据永远不会遭到破坏，而是强调事件检测和响应的重要性。企业已经开始意识到数据泄露的破坏性后果-他们的财务和声誉受到威胁，因此许多人在过去几年中采取措施来遵守PCIDSS和安全等级保护规则。主要目标通常是强调实现持续合规。考虑到这一点，主动安全监控控制变得比以往任何时候都更加重要。日志管理是IT安全专家多年来所强调的，SIEM解决方案已
分类：
其他好文 时间：
2019-01-16 17:23:52
阅读次数：
239
1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便 ...
分类：
Web程序 时间：
2019-01-14 11:52:46
阅读次数：
210
############本文介绍使用ELK（elasticsearch、logstash、kibana）+ kafka来搭建一个日志系统。主要演示使用springaop进行日志收集，然后通过kafka将日志发送给logstash，logstash再将日志写入elasticsearch，这样elasticsearch就有了日志数据了，最后，则使用kibana将存放在elasticsearch中的日志
分类：
编程语言 时间：
2019-01-10 19:30:48
阅读次数：
232
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类：
其他好文 时间：
2019-01-10 15:37:36
阅读次数：
140
1. Nginx 进程模型简介 Nginx默认采用多进程工作方式，Nginx启动后，会运行一个master进程和多个worker进程。其中master充当整个进程组与用户的交互接口，同时对进程进行监护，管理worker进程来实现重启服务、平滑升级、更换日志文件、配置文件实时生效等功能。worker用 ...
分类：
系统相关 时间：
2019-01-08 19:19:55
阅读次数：
315
