Logstash是一款开源日志收集处理框架，logstash-output-datahub插件，实现将数据导入DataHub的功能。通过简单的配置即可完成数据采集和向DataHub的传输，结合MaxCompute/StreamCompute可以轻松构建流式数据从采集到分析的一站式解决方案。 ...
分类：
其他好文 时间：
2017-03-17 16:19:51
阅读次数：
293
k8s集群之日志收集EFK架构参考文档http://tonybai.com/2017/03/03/implement-kubernetes-cluster-level-logging-with-fluentd-and-elasticsearch-stack/https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearchhttps://t.goodrain.com/t/k..
分类：
其他好文 时间：
2017-03-16 22:30:52
阅读次数：
1627
最近需要搭建一套日志监控平台，结合系统本身的特性总结一句话也就是：需要将Kafka中的数据导入到elasticsearch中。那么如何将Kafka中的数据导入到elasticsearch中去呢，总结起来大概有如下几种方式： Kafka->logstash->elasticsearch->kibana ...
分类：
其他好文 时间：
2017-03-15 22:23:07
阅读次数：
645
今天同事想在redhat6.4系统环境下，收集IBM3650m4的所有硬件日志信息，当执行IBM的日志收集程序的时候，出现如下报错：/lib/ld-linux.so.2:badELFinterpreter:Nosuchfileordirectory原因：在64位的系统中执行了32位的程序解决方法：yum-yinstallglibc.i686
分类：
系统相关 时间：
2017-03-10 11:20:47
阅读次数：
144
1、ELK介绍 ELK不是一款软件，而是elasticsearch+Logstash+kibana三款开源软件组合而成的日志收集处理套件，堪称神器。其中Logstash负责日志收集，elasticsearch负责日志的搜索、统计，而kibana则是ES的展示神器，前端炫丽，点几下鼠标简单配置，就可以 ...
分类：
其他好文 时间：
2017-03-09 17:17:29
阅读次数：
339
日志是supervisor打出来的python日志，且把不同格式的日志打印到了同一批文件里，需求是把带post和ERROR关键字的日志分离，并进入两个不同kafka的topic队列，目前的情况是rsyslog已经收集了nginx的访问日志，不能相互影响，就是说不能直接用if判断做分离，因为可能会日志混掉。..
分类：
其他好文 时间：
2017-03-06 22:32:48
阅读次数：
200
环境说明架构说明及架构图filebeat部署在客户端用于收集日志并把收集到的日志发送到logstash.logstash把收集到的日志处理之后交给elasticsearch.kibana从elasticsearch中提取数据并进行展示.之所以使用filebeat进行日志收集是因为filebeat不会像logstash使用大量的资源,影响业..
分类：
其他好文 时间：
2017-03-03 14:06:59
阅读次数：
540
ELK日志收集部署1.时间同步：ntpdatepool.ntp.orgecho‘*/5****ntpdatepool.ntp.org’>>/var/spool/cron/root2.关闭防火墙和selinux/etc/init.d/iptablesstopchkconfigiptablesoffSed–I‘s/SELINUX=enforcing/SELINUX=disabled/g’/etc/selinux/config3.安装javahttp:/..
分类：
其他好文 时间：
2017-02-24 19:54:15
阅读次数：
213
背景： 最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：传送门 ,关于EL ...
分类：
其他好文 时间：
2017-02-17 20:16:37
阅读次数：
290
转自：http://blog.csdn.net/a2011480169/article/details/51544664 在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不 ...
分类：
Web程序 时间：
2017-02-16 10:51:32
阅读次数：
366
