背景： 在写这篇博文前，自己一直没有弄明白一个问题，“在 Map 函数和 Reduce 函数中使用 System.out.print 打印日志时，输出内容在哪里显示？”。试了好多回，在 log/* 目录下找了很久都没有找到，并且尝试了很多次去找，都没有成功。这让我想通过此方法调试 Map/Reduc ...
分类：
其他好文 时间：
2018-08-01 00:26:31
阅读次数：
491
我们平时分析log直接在日志文件中grep、awk就可以获得自己想要的信息，此方法效率低下，生产中需要集中化的日志管理，所有服务器上的日志收集汇总Elasticsearch一个节点(node)就是一个Elasticsearch实例，一个集群(cluster)由一个或多个节点组成，它们具有相同的cluster.name，它们协同工作，分享数据和负载。当加入新的节点或者删除一个节点时，集群就会感知到并
分类：
其他好文 时间：
2018-08-01 00:23:30
阅读次数：
259
1.介绍 上一篇博客写了使用AOP进行统一日志管理的注解版实现，今天写一下使用XML配置实现版本，与上篇不同的是上次我们记录的Controller层日志，这次我们记录的是Service层的日志。使用的工程还是原来的那个，具体的Spring mvc 工程搭建暂不介绍。上篇记录controller层日志 ...
分类：
编程语言 时间：
2018-07-31 13:26:59
阅读次数：
291
HA:高可用 1.Quorum Journal Manager:群体日志管理 个数2n+1个，保证节点宕机次数为(n-1)/2;一般情况下，JNS在slave节点开启； 2.HA的namenode个数:一定是两个：nn1和nn2; 3.搭建HA步骤： 0.创建软连接：指向hadoop_cluster ...
分类：
其他好文 时间：
2018-07-28 15:15:05
阅读次数：
181
系统日志管理1.系统日志系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到×××时×××者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志。2.系统日志默认分类/var/log/messages系统服务的日志，包括服务的信息，报错等等/var/log/secure系统登陆认证信息日志/var/log/maillo
分类：
系统相关 时间：
2018-07-28 00:48:27
阅读次数：
230
日志聚合与分析 日志聚合的作用就在于可以把来自不同服务器上不同应用程序产生的日志聚合起来，存放在单一的服务器上，方便进行搜索和分析。在日志聚合方面，已经有不少成熟的开源软件可以很好的满足需求。本文中要介绍的是 logstash，一个流行的事件和日志管理开源软件。logstash 采用了一种简单的处理 ...
分类：
其他好文 时间：
2018-07-26 19:53:11
阅读次数：
129
7月24日晚上8点，七牛云高级大数据架构师王珂，将以《如何快速搭建智能化的统一日志管理系统》为题进行他对于七牛云日志管理经验的分享。 ...
分类：
其他好文 时间：
2018-07-20 18:56:10
阅读次数：
170
一.概述logrotate是一个Linux系统默认安装了的日志文件管理工具，用来把旧文件轮转、压缩、删除，并且创建新的日志文件。我们可以根据日志文件的大小、天数等来转储，便于对日志文件管理。logrotate是基于cron来运行的，其cron脚本是/etc/cron.daily/logrotate，... ...
分类：
其他好文 时间：
2018-07-18 20:39:51
阅读次数：
219
kafka消息是通过主题来进行组织和区分的，每个主题有分为零个或多个分区，分区数量可以在创建时指定也可以后期修改，不过修改只能增加不能删除，每个分区又有一个或多个副本，副本中会有一个副本被选做Leader副本，该副本对外提供读写操作，其他副本则是Follower。生产者发送消息到Leader副本的代理节点上，Follower副本从Leader同步数据。分区的每个副本对应到一个Log对象，每个Log
分类：
其他好文 时间：
2018-07-15 21:19:59
阅读次数：
345
我们平时分析log直接在日志文件中grep、awk就可以获得自己想要的信息，此方法效率低下，生产中需要集中化的日志管理，所有服务器上的日志收集汇总Elasticsearch一个节点(node)就是一个Elasticsearch实例，一个集群(cluster)由一个或多个节点组成，它们具有相同的cluster.name，它们协同工作，分享数据和负载。当加入新的节点或者删除一个节点时，集群就会感知到并
分类：
其他好文 时间：
2018-07-14 16:31:29
阅读次数：
275
