最近公司要做一个用户访问日志记录统计分析的功能，需要记录日志，但是公司的产品一天大概产生百万级的日志信息， 本身日志记录信息就比较固化和简单（基本不会存在改动），平时没有什么用，就是在统计分析时需要查用一下，另外日志需要长期存储不删除！ 于是问题的难点是：如何存储大量的日志信息和在此基础上做查询分析 ...
分类：
数据库 时间：
2020-05-30 20:17:04
阅读次数：
82
开启监控模块 配置访问地址 location /nginxstatus { stub_status on; // 禁止将监控信息写入访问日志 access_log off; } 激活插件http_stub_status_module cd /usr/local/src/nginx-1.18.0 # ...
分类：
其他好文 时间：
2020-05-28 00:40:20
阅读次数：
97
博文目录一、编写Dockerfile部署Tomcat服务二、编写Dockerfile部署Apache服务1、编写Dockerfile文件2、docker宿主机或者客户端访问httpd01容器中的apache服务3、登录httpd01容器，查看访问日志三、编写Dockerfile部署Nginx服务1、编写Dockerfile文件2、使用docker宿主机或者客户端访问nginx01容器中的nginx
分类：
数据库 时间：
2020-05-19 14:50:05
阅读次数：
67
基础概念 Kafka最初是由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，可以实时的处理大量数据以满足各种需求场景：基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎、web/nginx日志、访问日志、消息服 ...
分类：
其他好文 时间：
2020-05-16 00:14:31
阅读次数：
73
ngx_http_core_module模块提供的变量 在记录access_log访问日志文件时， 可以使用ngx_http_core_module模块处理请求时所产生的丰富的变量， 当然， 这些变量还可以用于其他HTTP模块 $arg_patameter HTTP请求中某个参数的值，如/index ...
分类：
Web程序 时间：
2020-05-04 13:42:19
阅读次数：
90
Nginx访问日志在处理中文时，默认使用16进制编码处理。使我们对访问日志进行分析处理时，带来很大不便。含有中文字符的请求，日志记录如下： 171.43.238.62 - - [05/Dec/2017:21:40:57 +0800] "GET /\xD6\xD0\xCE\xC4 HTTP/1.1" ...
分类：
其他好文 时间：
2020-05-01 16:47:21
阅读次数：
57
Nginx访问日志在处理中文时，默认使用16进制编码处理。使我们对访问日志进行分析处理时，带来很大不便。含有中文字符的请求，日志记录如下： 171.43.238.62 - - [05/Dec/2017:21:40:57 +0800] "GET /\xD6\xD0\xCE\xC4 HTTP/1.1" ...
分类：
其他好文 时间：
2020-05-01 16:25:15
阅读次数：
52
十、while循环及应用实践 （一）while循环语法 （二）范例1： 每隔2s输出系统负载情况。 1、脚本执行的方法 | 用法 | 说明 | | | | | sh while1.sh & | 把脚本while1.sh放到后台执行（后台运行脚本时常用） | | nohup while1.sh & | ...
分类：
系统相关 时间：
2020-04-29 21:54:48
阅读次数：
90
日志项目 日志库需求分析 日志库产生的背景 程序运行是个黑盒 日志是程序之外的表现 通过日志，可以知道程序的健康状态 日志打印的级别 Debug：日志最详细，对程序的影响比较大 Trace： 用来追踪问题 Info： 比较重要的信息，比如访问日志 Warn：警告日志，表明程序存在问题 Error： ...
分类：
编程语言 时间：
2020-04-25 13:08:55
阅读次数：
67
Apache日志 访问日志access_log记录了所有对Web服务器的访问活动，下面是访问日志access_log中的一个标准记录 192.168.43.117 - - [01/Apr/2018:10:37:19 +0800] "GET / HTTP/1.1" 200 45 日志字段所代表的内容如 ...
分类：
Web程序 时间：
2020-04-19 19:50:27
阅读次数：
131
