SparkSQL结合SparkStreaming的使用 Flume+Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多个消费者实时消费数据，包括SparkStreaming。然而，在Sp ...
分类：
数据库 时间：
2017-10-11 17:18:41
阅读次数：
1282
Filebeat 安装参考 http://blog.csdn.net/kk185800961/article/details/54579376 elasticsearch 安装参考 http://blog.csdn.net/kk185800961/article/details/54175291 k ...
分类：
其他好文 时间：
2017-10-07 16:09:31
阅读次数：
364
版权声明：本文为yunshuxueyuan原创文章。如需转载请标明出处： http://www.cnblogs.com/sxt-zkys/QQ技术交流群：299142667 flume的概念 1. flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初 ...
分类：
Web程序 时间：
2017-09-27 15:21:26
阅读次数：
312
PG安装完成后默认不会记录日志，必须修改对应的（${PGDATA}/postgresql.conf）配置才可以，这里只介绍常用的日志配置。 1.logging_collector = on/off 是否将日志重定向至文件中，默认是off（该配置修改后，需要重启DB服务） 开启后 2.log_dire ...
分类：
数据库 时间：
2017-09-25 11:33:28
阅读次数：
269
Scribe简介Scribe是Facebook开源的分布式日志收集系统，目前在各大互联网公司内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可..
分类：
其他好文 时间：
2017-09-13 17:17:43
阅读次数：
246
一）简介elk系统是一套目前较为流行的日志收集分析系统，主要由elasticserch,logstash,kibana三部分组成，其中elasticsearch负责数据的存储，logstash负责日志的收集过滤，kibana负责日志的可视化部分。整个工作流程为logstash收集日志，过滤后输出并保存到elasticsearch中，最..
分类：
其他好文 时间：
2017-09-12 23:18:32
阅读次数：
248
一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列应用场景以下介绍消息队列在 ...
分类：
其他好文 时间：
2017-09-07 19:23:30
阅读次数：
253
2017-09-06 朱洁 大数据和云计算技术 任何一个生产系统在运行过程中都会产生大量的日志，日志往往隐藏了很多有价值的信息。在没有分析方法之前，这些日志存储一段时间后就会被清理。随着技术的发展和分析能力的提高，日志的价值被重新重视起来。在分析这些日志之前，需要将分散在各个生产系统中的日志收集起来 ...
分类：
Web程序 时间：
2017-09-06 12:58:57
阅读次数：
338
说明：该文转载自腾讯云技术社区腾云阁，已征求作者本人同意。 引言 Kubernetes对于容器实例的日志收集，并没有提供原生的解决方案。但提供使用kubectl logs命令查看容器实例运行时的日志。kubectl logs命令实现的基本原理为：容器运行时默认将标准输出和标准错误中的日志输出到磁盘上 ...
分类：
其他好文 时间：
2017-09-01 11:21:41
阅读次数：
187
背景：系统的数据量越来越大，日志不能再简单的文件的保存，如此日志将会越来越大，也不方便查找与分析，综合考虑下使用了flume来收集日志，收集日志后向kafka传递消息，下面给出具体的配置 启动方式： bin/flume-ng agent --conf conf --conf-file conf/ka ...
分类：
Web程序 时间：
2017-08-31 00:59:03
阅读次数：
274
