一、Hadoop概述 1、Hadoop名字是由Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名，Hadoop是Apache开源的分布式存储+分布式计算平台。Hadoop能搭建大型数据仓库、PB级数据的存储、处理、分析、统计等业务，如搜索引擎、日志分析、商业智能、数据挖掘 2、狭义Ha ...
分类：
其他好文 时间：
2019-12-16 19:22:48
阅读次数：
100
ELK 是现阶段众多企业单位都在使用的一种日志分析系统，它能够方便的为我们收集你想要的日志并且展示出来 ELK是Elasticsearch、Logstash、Kibana的简称，这三者都是开源软件，通常配合使用。 1. Elasticsearch -->存储数据 是一个实时的分布式搜索和分析引擎，它 ...
分类：
其他好文 时间：
2019-12-16 10:02:25
阅读次数：
1383
EFK 是ELK 日志分析的一个变种，能够更好的来实现日志分析。 首先我们先准备3台 centos7的服务器，在给他们调成2核2G的状态打开。 软件 版本号 zookeeper 3.4.14 Kafka 2.2.0 logstash 6.6.0 elasticsearch 6.6.2 jdk jdk ...
分类：
其他好文 时间：
2019-12-16 10:01:56
阅读次数：
88
写在前面 在我初次接触MongoDB的时候，是为了做一个监控系统和日志分析系统。当时在用Java操作MongoDB数据里的数据的时候，都是在网上查找Demo示例然后完成的功能，相信大家也同样的体会，网上大都是这种一个入门的小Demo，很少有深入讲解的。功能调通后，自己琢磨效率方面的问题，便开始自己的 ...
分类：
编程语言 时间：
2019-12-15 23:40:24
阅读次数：
438
nginx日志默认不会记录post数据 在nginx配置文件的http节 log_format 日志格式标识 [escape=json] 日志格式 比如：日志格式标识设置为main，添加escape=json以便中文正确显示（注意，escape=json 需要 nginx 1.11.8 以上版本才支 ...
分类：
数据库 时间：
2019-12-14 11:41:16
阅读次数：
211
搭建办公环境ElasticSearch 日志分析系统
分类：
其他好文 时间：
2019-12-11 21:37:16
阅读次数：
261
AWK是一个强大的文本分析工具，算是Linux系统特别有用的命令了，在日志分析、文件内容分析中扮演特别重要的角色。 AWK说明 简单来说awk就是把文件逐行的读入，以指定的分隔符将每行分割，分割后的部分再进行各种分析处理。 先看下AWK的命令的说明 | 内置变量 | 说明 | | | | | $0 ...
分类：
系统相关 时间：
2019-12-07 10:49:52
阅读次数：
123
一、Squid中ACL的使用（1）ACL访问控制方式：（2）ACL规则优先级：（3）常用的ACL列表类型：（4）操作演示：二、日志分析第一步：安装sarg工具第二步：安装Apache第三步：客户机上测试三、反向代理修改/etc/squid.conf文件添加以下代码：1、基于IP地址限制：2、基于时间限制：3、基于目标地址（就是web服务器地址）可以将拒绝的目标地址添加到一个文件中二、日志分析安装s
分类：
其他好文 时间：
2019-12-06 18:48:37
阅读次数：
129
ELK+监控报警全步骤 需求： 公司要求对出在windows服务器上的日志进行日志分析并根据关键字进行报警，并配置kibana权限控制。下面为详细步骤 环境： centos 7.6 elk版本7.50 （因为7.50版本自带xpack功能，可以满足kibana角色权限控制） 1. windows字符 ...
分类：
其他好文 时间：
2019-12-06 13:42:50
阅读次数：
292
在Linux上，通过crontab 命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。 设置Cron任务 创建任务 可以通过如下指令来创建或者修改你自己的cr ...
分类：
系统相关 时间：
2019-12-06 00:18:46
阅读次数：
93
