前文中已经完成了文件的监控,kafka信息读写,今天主要完成配置文件的读写以及热更新。并且规划一下系统的整体结构,然后将之前的功能串起来形成一套完整的日志采集系统。 前情提要 上一节我们完成了如下目标1 完成kafka消息读写2 借助tailf实现文件监控,并模拟测试实时写文件以及文件备份时功能无误 ...
分类:
其他好文 时间:
2019-12-02 17:08:53
阅读次数:
98
持续集成之代码质量管理-Sonar[三]Sonar介绍Sonar是一个用于代码质量管理的开放平台。通过插件机制,Sonar可以集成不同的测试工具,代码分析工具,以及持续集成工具。与持续集成工具(例如Hudson/Jenkins等)不同,Sonar并不是简单地把不同的代码检查工具结果(例如FindBugs,PMD等)直接显示在Web页面上,而是通过不同的插件对这些结果进行再加工处理,通过量化的方式度
分类:
其他好文 时间:
2019-11-19 09:22:30
阅读次数:
73
文件查看 cat显示文本 tac倒叙显示 less分屏显示文本或stdin输出 more 分页显示文本 head 显示文本的前面的内容 tail 显示文本的后面的内容 cut切割 paste合并 wc(word count)对文本进行统计 sort排序 uniq 删除重复行 pv(page) uv( ...
分类:
系统相关 时间:
2019-08-30 09:52:25
阅读次数:
155
cat #将文件内容输出到屏幕head #查看文件开头N行tail #查看文件末尾N行tailf #动态的查看的写入,有写入时屏幕输出vim、vi #文件编辑器,也可以当是查看文件{进入文件}grep #查看特定的字符行sed #这个是不进入文件里面修改文件,可以看文件的awk #这个是按列查看文件 ...
分类:
系统相关 时间:
2019-07-31 00:44:36
阅读次数:
158
1.ELK的背景介绍与应用场景在项目应用运行的过程中,往往会产生大量的日志,我们往往需要根据日志来定位分析我们的服务器项目运行情况与BUG产生位置。一般情况下直接在日志文件中tailf、 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量过大、文本搜... ...
分类:
其他好文 时间:
2019-07-22 15:06:51
阅读次数:
99
ELK(7版本)部署与架构分析 1、ELK的背景介绍与应用场景 在项目应用运行的过程中,往往会产生大量的日志,我们往往需要根据日志来定位分析我们的服务器项目运行情况与BUG产生位置。一般情况下直接在日志文件中tailf、 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低 ...
分类:
其他好文 时间:
2019-07-21 23:57:23
阅读次数:
230
Cassandra集群管理-节点异常重启登陆一台集群节点,直接重启服务器(172.20.101.166),设置了cassandra开机启动。场景:节点被异常重启,对集群引发的反应。cassandra.log基本没有输出tailf/var/log/cassandra/cassandra.logsystem.log有明显日志报172.20.101.166DOWN!!!172.20.101.165节点:
分类:
其他好文 时间:
2019-07-12 10:03:59
阅读次数:
407
作者:秦伟1.ELK的背景介绍与应用场景在项目应用运行的过程中,往往会产生大量的日志,我们往往需要根据日志来定位分析我们的服务器项目运行情况与BUG产生位置。一般情况下直接在日志文件中tailf、grep、awk就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量过大、文本搜索太慢、如何多维度查询。这就需要对服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统
分类:
其他好文 时间:
2019-07-11 16:58:28
阅读次数:
241
一、Rsync服务介绍 Rsync属于一款实现全量及增量同步数据的软件工具,适用于unix/linux/windows等多种操作系统平台。 Rsync软件能实现本地复制,远程复制,或者远程守护进程方式复制。它以其delta transfer算法闻名,减少通过网络数据发送数量,利用只发送源文件和目标文 ...
分类:
其他好文 时间:
2019-06-29 12:34:39
阅读次数:
135
cat(连接文件并打印) -n :由 1 开始对所有输出的行数编号。 -b :和 -n 相似,只不过对于空白行不编号。 -s :当遇到有连续两行以上的空白行,就代换为一行的空白行。 cat a b 查看a b两个文件 cat -n a > b 将a文件内容加上行号后,输入到b文件中 cat a b ...
分类:
系统相关 时间:
2019-06-08 21:41:18
阅读次数:
176