作为Apach下一个优秀的开源消息队列框架，Kafka已经成为很多互联网厂商日志采集处理的第一选择。后面在实际应用场景中可能会应用到，因此就先了解了一下。经过两个晚上的努力，总算是能够基本使用。 操作系统：虚拟机Centos 6.5 1、下载Kafka安装文件，首先进入官网，找到最新的稳定版本 wg ...
分类：
编程语言 时间：
2017-03-26 01:05:40
阅读次数：
1825
版本说明：Elasticsearch5.0Logstash5.0（暂时未用）Filebeat5.0Kibana5.0ELK是一套采集日志并进行清洗分析的系统，由于目前的分析的需求较弱，所以仅仅采用filebeat做日志采集，没有使用logstash一、环境准备&&软件安装：1、首先，需要安装Java环境下载安装包：jre-8u..
分类：
其他好文 时间：
2017-03-20 19:59:15
阅读次数：
234
之前增加了多台服务器的日志采集，而且包含apache的访问日志和错误日志，导致日志量过大，ELK服务出现异常。首先是访问kibana出现错误：显示错误信息为：Elasticsearchisstillinitializingthekibanaindex.百度了一下，是因为kibana的索引过大，需要删除kibana的索引：curl-XDEL..
分类：
其他好文 时间：
2017-03-20 19:58:56
阅读次数：
3244
前言最近在公司接到一个任务，是关于数据采集方面的。
需求主要有3个：
通过web端上传文件到HDFS;
通过日志采集的方式导入到HDFS;
将数据库DB的表数据导入到HDFS。
正好最近都有在这方面...
分类：
Web程序 时间：
2017-03-11 23:57:35
阅读次数：
2712
日志采集框架Flume的安装及使用1.Flume介绍1.1.Flume概述Flume是一个分布式、可靠、和高可用(旧版Flume og才有高可用)的海量日志采集、传输和聚合的系统。
Flume可以采集...
分类：
Web程序 时间：
2017-02-24 16:27:40
阅读次数：
234
E采集Linux版1.8
================
一、使用方法:
1、将ecj.tar拷贝到Linux系统上，并在Shell下存放ecj.tar的目录中运行如下命令：
tar-xzvf
./run.sh
2、稍等一会儿，会自动生成NC00.tar的压缩包，此压缩包包含一下采集内容。
二、采集内容：
1、Linux系统下的所有日志及配..
分类：
其他好文 时间：
2017-02-08 23:24:19
阅读次数：
185
使用Nginx和Logstash以及kafka来实现网站日志采集的详细步骤和过程 环境介绍： linux虚拟机3台，主机名分别为hadoop01、hadoop02和hadoop03; 在这3台虚拟机上分别部署了3个Zookeeper，这里Zookeeper的具体安装步骤不做介绍; 在这3台虚拟机上分... ...
分类：
Web程序 时间：
2017-01-01 10:58:15
阅读次数：
1766
Flume作为日志采集系统，有着独特的应用和优势，那么Flume在实际的应用和实践中到底是怎样的呢？让我们一起踏上Flume之路。1、什么是ApacheFlume（1）ApacheFlume简单来讲是高性能、分布式的日志采集系统，和sqoop同属于数据采集系统组件，但是sqoop用来采集关系型数据库数据，..
分类：
Web程序 时间：
2016-12-22 20:51:32
阅读次数：
210
Flume和Sqoop是Hadoop数据集成和收集系统，两者的定位不一样，下面根据个人的经验与理解和大家做一个介绍：Flume由cloudera开发出来，有两大产品：Flume-og和Flume-ng，Flume-og的架构过于复杂，在寻问当中会有数据丢失，所以放弃了。现在我们使用的是Flume-ng，主要是日志采集..
分类：
Web程序 时间：
2016-12-13 00:31:08
阅读次数：
344
elk日志分析与挖掘深入分析 1 为什么要做日志采集？ 2 挖财自己的日志采集和分析体系应该怎么建？ 2.1 日志的采集 2.2 日志的汇总与过滤 2.3 日志的存储 2.4 日志的分析与查询 3 需要解决哪些技术问题？ 3.1 logstash与kafka的对接 3.2 kafka到elastic ...
分类：
其他好文 时间：
2016-11-30 14:26:09
阅读次数：
397
