（3.14）mysql基础深入——mysql 日志分析工具之pt-querty-digest 关键字：Mysql日志分析工具、mysqlsla 常用工具 【1】mysqldumpslow：官方提供的慢查询日志分析工具 【2】mysqlbinlog：二进制日志分析工具 【3】myprofi：对于只想看 ...
分类：
数据库 时间：
2019-03-25 01:17:58
阅读次数：
254
MySQL中的日志包括：错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能：通用查询日志和慢查询日志。 1）通用查询日志：记录建立的客户端连接和执行的语句。2）慢查询日志：记录所有执行时间超过long_query_time秒的所有查询或者不使用索引的查询 （1）通用 ...
分类：
数据库 时间：
2019-03-21 21:49:44
阅读次数：
244
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的。
分类：
其他好文 时间：
2019-03-21 15:48:41
阅读次数：
194
为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类：
其他好文 时间：
2019-03-20 19:07:52
阅读次数：
217
ELK平台介绍 在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段： 以下内容来自：http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误 ...
分类：
其他好文 时间：
2019-03-16 16:57:17
阅读次数：
276
简介 hadoop解决问题： 海量数据的存储(HDFS) 海量数据的分析(MapReduce) 资源管理调度(YARN) 受Google三篇论文启发：GFS、MapReduce、BigTable Hadoop功能： 擅长海量离线日志分析 Hadoop如何解决海量数据的存储？ 若干被称为Datanod ...
分类：
其他好文 时间：
2019-03-10 11:13:06
阅读次数：
160
第1章 大数据概述本章将从故事说起，让大家明白大数据是与我们的生活息息相关的，并不是遥不可及的，还会介绍大数据的特性，以及大数据对我们带来的技术变革，大数据处理过程中涉及到的技术以及大数据典型应用。第2章 初识Hadoop本章节将带领大家认识Hadoop以及Hadoop生态系统、Hadoop的发展史 ...
分类：
其他好文 时间：
2019-03-10 09:33:09
阅读次数：
729
搜狗搜索日志分析系统 前奏：请提前搭建好你的集群和必要的软件:hadoop + jdk + hive + Sqoop + HBase； 数据（链接是网友的，感谢，感谢，感谢。里面有测试数据）：链接：http://pan.baidu.com/s/1dFD7mdr 密码：xwu8 一：数据预处理（Lin ...
分类：
其他好文 时间：
2019-03-08 17:08:46
阅读次数：
273
1. ES集群安装 准备1台虚拟机 部署elasticsearch第一个节点 访问9200端口查看是否安装成功 1ELK是日志分析平台，不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写，ELK分别代表： Elasticsearch:负责日志检索和储存 Logstash:负责日志的收集和分 ...
分类：
其他好文 时间：
2019-03-08 16:40:16
阅读次数：
237
0x00 前言 ARP病毒并不是某一种病毒的名称，而是对利用arp协议的漏洞进行传播的一类病毒的总称，目前在局域网中较为常见。发作的时候会向全网发送伪造的ARP数据包，严重干扰全网的正常运行，其危害甚至比一些蠕虫病毒还要严重得多。 0x01 应急场景 某天早上，小伙伴给我发了一个微信，说192.16 ...
