一、ELK介绍1、需求背景：随着业务发展越来越大，服务器会越来越多，那么，各种日志量（比如，访问日志、应用日志、错误日志等）会越来越多。因此，开发人员排查问题，需要到服务器上查看日志，很不方便。而运维人员也需要一些数据，所以也要到服务器分析日志，很麻烦。2、ELKStack官网：https://www.elastic.co/cn/ELKStach从5.0版版本开始，改为ElasticStack（E
分类：
其他好文 时间：
2018-09-20 01:04:57
阅读次数：
249
如果我们回顾5年前会发现，那就是当时Hadoop不是大多数公司的选择，特别是那些要求稳定和成熟的平台的企业。 在这一刻，选择非常简单：当您的分析数据库的大小超过5 7 TB时，您只需启动MPP迁移项目，并转移到经过验证的企业MPP解决方案之一。 没有人听说过“非结构化”数据 如果你要分析日志，只需用 ...
分类：
其他好文 时间：
2018-09-07 18:02:27
阅读次数：
164
苦海无边，回头是岸。学会运维自动化，带你脱离无边的运维苦海标题：轻松玩转ELK海量可视化日志分析系统评价：数据时代运维心法作者：南非蚂蚁试读：ELK应用架构介绍（附专栏目录）专栏地址：http://blog.51cto.com/cloumn/detail/14标题：基于Kubernetes企业级容器云平台落地与实践评价：容器私有云平台实践之路作者：李振良OK试读：这是一项颠覆性技术-容器）专栏地址
分类：
其他好文 时间：
2018-08-27 21:50:34
阅读次数：
175
【Logstash】 [root@localhost ~]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz [root@localhost ~]# tar zxvf logstash-6.3.2. ...
分类：
其他好文 时间：
2018-08-26 00:05:36
阅读次数：
253
一个用Java写的GUI程序，作用是分析日志， 它会将一定数量的格式相同的文本日志文件读入内存分析处理，然后将结果合并输出。 文件数量几十个，文件大小几KB， 日志记录几千条左右， 此工具可以流畅处理， 轻松满足需求。 然而， 因为记录日志的方案调整，记录日志类型范围从warn、error级别扩大到 ...
分类：
编程语言 时间：
2018-08-23 16:55:14
阅读次数：
150
正则表达式只和字符串打交道 正则表达式主要应用的工作场景 1.web开发 2.爬虫 3.自动化 4.数据分析 日志分析 1数字[0-9] 常用元字符 常用限定符 代码/语法说明 * 重复零次或更多次 + 重复一次或更多次 ? 重复零次或一次 {n} 重复n次 {n,} 重复n次或更多次 {n,m} ...
分类：
其他好文 时间：
2018-08-16 22:34:46
阅读次数：
267
一.json与pickle json与pickle模块是为了完成数据的序列化. 序列化是指把对象(变量)从内存中变成可存储或传输的过程,在Python中叫picking,在其他语言中也由其他的叫法,但是都是一个意思 序列化是为了解决数据持久保存状态和跨平台数据交互两个问题, 如何实现序列化? jso ...
分类：
编程语言 时间：
2018-08-10 19:35:00
阅读次数：
132
awstats简介awstats是免费的一个非常强大的日志分析工具的Apache日志文件。从apache分析日志后，它以易于理解的图形格式显示它们。awstats是高级Web统计的缩写，它可以在命令行界面或CGI上运行。功能它可以统计您站点的如下信息：一：访问量，访问次数，页面浏览量，点击数，数据流量等二：精确到每月、每日、每小时的数据三：访问者国家四：访问者IP五：Robots/Spiders的
分类：
其他好文 时间：
2018-08-07 18:55:37
阅读次数：
192
Nginx的反向代理能非常强大，可以配置多层反向代理，多层代理中最关心的就是客户端IP的信息传递情况，当我们遇到问题后，分析日志是解决问题最有效的途径之一，涉及代理时我们肯定会分析源IP，目标IP等信息，查看相关的异常。本次实例就通过两层Nginx反向代理，模拟一下其客户端IP的传递信息。实验环境： 操作系统 ： Centos
分类：
其他好文 时间：
2018-08-04 16:42:51
阅读次数：
680
工具做为图形化界面来展示更能直观的发现问题，另一方面一些耗费性能的分析（dump文件分析）一般也不会在生产直接分析，往往dump下来的文件达1G左右，人工分析效率较低，因此利用工具来分析jvm相关问题，长长可以到达事半功倍的效果来。 jvm监控分析工具一般分为两类，一种是jdk自带的工具，一种是第三 ...
分类：
编程语言 时间：
2018-08-03 18:02:41
阅读次数：
149
