为什么用到ELK: 一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 ...
分类:
其他好文 时间:
2019-06-10 13:25:10
阅读次数:
105
一.MySQL日志简介 ? 二.错误日志 1. 作用: 记录mysql数据库的一般状态信息及报错信息,是我们对于数据库常规报错处理的常用日志。 2. 默认位置: $MYSQL_HOME/data/ 3. 开启方式:(MySQL安装完后默认开启) 三.一般查询日志 1. 作用: 记录mysql所有执行 ...
分类:
数据库 时间:
2019-06-09 22:04:50
阅读次数:
127
1. logging 1.1 什么是 logging 模块是 Python 内置的日志管理模块,不需要额外安装。 使用: 运行结果如下: 默认只输出 以上级别的日志,日志级别: 默认日志格式: 1.2 logging 模块中的几个重要概念 logging 中不得不知道的几个概念: Logger , ...
分类:
其他好文 时间:
2019-06-08 23:02:01
阅读次数:
250
1. 如何设计一个数据库 程序实例 存储管理,缓存机制,SQL解析,日志管理,权限划分,容灾机制,索引管理,锁管理 存储(文件系统) 2. 索引数据结构 二叉树, B 树 B+树 hash BitMap ...
分类:
数据库 时间:
2019-06-07 19:32:20
阅读次数:
107
flume 1.x开始 输入数据的读取与输出数据的写入在由 不同的工作线程(称为运行器)来处理了。 在flume 0.9中,输入线程也执行对输出的写入(故障恢复重试除外)。 输出写入器很慢(而不仅仅是完全失败),那么它会阻塞Flume 接收数据的能力。 这种新的异步设计使得输入线程完全意识不到任何下 ...
分类:
编程语言 时间:
2019-06-05 00:42:27
阅读次数:
96
一:Kafka概述 离线部分: Hadoop->离线计算(hdfs / mapreduce) yarn zookeeper->分布式协调(动物管理员) hive->数据仓库(离线计算 / sql)easy coding flume->数据采集 sqoop->数据迁移mysql->hdfs/hive ...
分类:
其他好文 时间:
2019-06-04 09:20:50
阅读次数:
124
按语: 最近项目要求选用Access数据库,但日志管理采用log4net,但保存到数据库一直没有成功,后按照如下配置在程序退出时可以成功保存。 开始新建文件应用log4net.dll ,重新编译就报缺少log4net的库,后参考网上资料在项目属性中把目标框架由 Framework client 改为 ...
分类:
数据库 时间:
2019-06-02 17:57:11
阅读次数:
449
日志信息的安全级别日志信息可以输出到LogBuffer(日志缓冲区)、ASDM和日志服务器。配置Logbuffer:ASA(config)#clocktimezonepeking8#peking表示北京时间,8表示国际标准时间的偏移量ASA(config)#clockset21:33:0030may2019#设置时间ASA(config)#loggingenable#启用日志功能ASA(confi
分类:
其他好文 时间:
2019-05-31 10:18:17
阅读次数:
196
一。 近期自己的项目想要一个记录日志的功能,而springboot本身就内置了日志功能,然而想要输入想要的日志,并且输出到磁盘,然后按天归档,或者日志的切分什么的,自带的日志仅仅具有简单的功能,百度了一番,总结如下,适合大多数的应用场景 二。 springboot的pom文件都会引一个parent ...
分类:
编程语言 时间:
2019-05-30 10:46:13
阅读次数:
133
kbmmw 自从4.8.2 版本里增加了日志管理以后,随着版本升级,增加了很多功能,使用方法也有所改变。 功能也越来越强大。 今天说一下 kbmmw5 里面的日志备份,顺便演示一下新的使用方法。 我们要使用kbmmw 的日志管理,首先要引用kbmMWLog 单元,引用这个单元后,默认开启一个 日志对 ...
分类:
其他好文 时间:
2019-05-25 12:54:59
阅读次数:
124