背景 Hadoop业务的整体开发流程： ? 从Hadoop的业务开发流程中可以看出，在大数据的业务处理流程中，对于数据的采集是十分重要的一步，也是不可避免的一步。 ? 许多公司的平台每天会产生大量的日志（一般为流式数据，如搜索引擎的pv,查询等），处理这些日志需要特定的日志系统。一般而言，这些系统需 ...
分类：
Web程序 时间：
2019-08-20 21:59:27
阅读次数：
152
Docker容器日志分为2类：Docker引擎日志（Docker本身运行的日志）。容器日志，各个容器内产生的日志。Docker引擎日志Centos系统下Docker引擎log一般给systemd管理，可通过journalctl-udocker.service命令查看。容器日志一、查看日志命令dockerlogs容器ID显示当前运行容器的log，输出Linux下的STDOUT（标准输出）、STDER
分类：
其他好文 时间：
2019-08-20 12:43:49
阅读次数：
71
1.kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 1.1 broker：安装了kafka服务的机器称之为broker 1.2 topic（主题）:是用来存放消息， ...
分类：
其他好文 时间：
2019-08-20 10:40:28
阅读次数：
73
大家好，很高兴有这次机会和大家分享一些日志分析方面的心得。金融业日志管理面临着一些共性的问题，日志易在助力数百家大型企业用户建设日志精益化分析体系的过程中，积累了一些经验。借这次直播的机会，和参与本次直播的诸位金融企业相关技术负责人，梳理业务系统日志分析平台的一些架构及分析思路，算是抛砖引玉，希望今后能和大家就日志分析有更加深入的交流。本次分享共分三个部分。第一部分会就金融业日志管理方面的共同面临
分类：
其他好文 时间：
2019-08-20 00:58:19
阅读次数：
99
下面学习Windows Server2008监控服务器性能包括 日志管理，归档日志，日志排错，怎么配置计算机以转发和收集事件，使用任务管理监控内存和CPU的使用，查看程序内存使用，查看程序CPU使用，结束进程 ，查看登录计算机的用户。 1.在ADServer服务器上面点击开始菜单，选择管理工具，打开 ...
http://blog.didispace.com/springbootlog/ ...
分类：
编程语言 时间：
2019-08-19 15:54:28
阅读次数：
71
一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume style Push based ...
分类：
Web程序 时间：
2019-08-15 09:24:53
阅读次数：
106
1.1 flume（日志收集系统） 1.1.1 flume介绍 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flu ...
分类：
Web程序 时间：
2019-08-14 12:53:23
阅读次数：
131
一、何为日志 1、在程序执行时，可以通过标准输出以及错误输出，让我们知道程序的执行情况，而系统不可能将所有程序的输出信息一起显示，要知道后台执行的程序非常之多，如果一起显示，那我们不用操作了，整天只看输出结果就够忙了！ 2、这时就需要日志系统了，有了日志之后，系统可以将所有程序的输出结果，分类到日志 ...
分类：
系统相关 时间：
2019-08-13 20:30:48
阅读次数：
118
以下是整理flume的各种采集方式代码直接用一、source类netcata1.sources=r1a1.sinks=k1a1.channels=c1a1.sources.r1.type=netcata1.sources.r1.bind=linux1a1.sources.r1.port=666a1.sinks.k1.type=loggera1.channels.c1.type=memorya1
分类：
Web程序 时间：
2019-08-11 00:57:43
阅读次数：
399
