Filebeat Filebeat 是用于转发和集中日志数据的轻量级传输程序。Filebeat 可以监听指定的日志文件或位置，从中收集日志事件并将其转发到 Elasticsearch 或 Logstash 进行索引。Filebeat 的工作原理如下： Filebeat 启动一个或多个 Input，I ...
分类：
其他好文 时间：
2020-06-16 13:00:07
阅读次数：
55
1. Mapreduces适用于：可以并行处理的应用程序 2. PageRank是一个函数，它对Web中的每一个网页赋予一个实数值，它的意图在于网页的PageRank越高，那么它就：越重要 3. 在Bigtable中，GFS主要用来存储子表数据以及一些日志文件 4. 当不知道数据所带标签时，可以使用 ...
分类：
其他好文 时间：
2020-06-14 20:15:50
阅读次数：
229
昨天面阿里最后栽在一道很常见的海量数据处理上了，也怪之前没专门花时间准备这个问题。今天参考了July的博客，又反思了下自己面试时错误的思路，重新整理为下面的解答过程。 先上July的博客对类似问题的解答思路： 搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-25 ...
分类：
其他好文 时间：
2020-06-12 20:26:01
阅读次数：
122
恢复的实现技术 一、数据转储 1.定义 2.转储方法 ⅰ静态转储与动态转储 ⅱ海量转储与增量转储 ⅲ转储方法小结 二、登记日志文件 1.日志文件的格式和内容 ⅰ以记录为单位的日志文件内容 ⅱ以数据块为单位的日志文件 2.日志文件的作用 3.登记日志文件 三、小结 参考-《数据系统概论(第五版)》-人 ...
分类：
数据库 时间：
2020-06-12 12:50:19
阅读次数：
57
日志库需求分析 1. 支持往不同的地方输出日志 2. 日志分级别 Debug Trace Info Warning Error Fatal 3. 日志要支持开关控制 4. 完整的日志记录要包含时间、行号、文件名、日志级别、日志信息 5. 日志文件要切割 按文件大小切割 按riq切割 具体实现 目录结 ...
分类：
编程语言 时间：
2020-06-11 13:45:43
阅读次数：
73
一开始执行的命令是 nohup 命令 & 然后过了一天，整个服务器宕掉了，原因是生成的日志文件太多 最后方案 nohup 命令 1>/dev/null 2>&1 & ...
分类：
系统相关 时间：
2020-06-10 19:04:26
阅读次数：
58
#概述 MySQL提供了丰富的日志 事务日志：transaction log 事务日志的写入类型为“追加”，因此其操作为“顺序IO”；通常也被称为：预写式日志 write ahead logging 事务日志文件： ib_logfile0， ib_logfile1 错误日志 error log 通用 ...
分类：
数据库 时间：
2020-06-10 18:49:23
阅读次数：
63
Nginx定时日志切割 现有的日志都会存在access.log文件中，但是随着时间的推移，这个文件的内容会越来越多，体积会越来越大，不便于运维 人员查看，所以我们可以通过把这个大的日志文件切割为多份不 同的小文件作为日志，切割规则可以以天为单位，如果每天有几 百G或者几个T的日志的话，则可以按需以每 ...
分类：
其他好文 时间：
2020-06-10 12:47:13
阅读次数：
52
1.1 mysql主从同步 1、mysql主从同步（复制）概念 将Mysql某一台主机数据复制到其它主机（slaves）上，并重新执行一遍来实现的。 复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。 主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。 当一个 ...
分类：
数据库 时间：
2020-06-09 23:30:46
阅读次数：
99
后台执行py文件 nohup python3 -u flask_server.py > flask_log.log 2>&1 & 1. 带&的命令行，无论关闭终端都在后台运行。 2.-u是为了禁止缓存，让结果可以直接进入日志文件flask_log.log 3. 2>&1的意思 这个意思是把标准错误（ ...
分类：
系统相关 时间：
2020-06-09 16:33:13
阅读次数：
67
