关键字：MongoDB； aggregate；forEach 今天开发同学向我们提了一个紧急的需求，从集合mt_resources_access_log中，根据字段refererDomain分组，取分组中最近一笔插入的数据，然后将这些符合条件的数据导入到集合mt_resources_access_l ...
分类：
数据库 时间：
2019-01-23 00:17:52
阅读次数：
260
nginx根据访问的项目名进行内网地址转发 以下是nginx的配置信息： server { listen 8081; server_name localhost; #charset koi8-r; #access_log logs/host.access.log main; location / { ...
分类：
其他好文 时间：
2019-01-22 14:13:25
阅读次数：
570
需求： 根据web服务器上的访问日志，把一些请求量非常高的ip给拒绝掉！并且每隔半小时把不再发起请求或者请求量很小的ip给解封。 假设： 1. 一分钟内请求量高于100次的IP视为不正常请求。 2. 访问日志路径为/data/logs/access_log。 用第2例中的1.log作为演示日志 ## ...
分类：
系统相关 时间：
2019-01-20 23:37:56
阅读次数：
431
listen 8095; #端口 server_name localhost; #域名可以有多个 用空格隔开 #charset koi8-r; #access_log logs/host.access.log main; location / { root E:\; #代理项目路径 index in... ...
安装Nginx#apt-getinstallnginx#yuminstallnginx查看安装路径#whereisnginx配置nginxlocation~.*\.(gif|jpg|jpeg|png)${expires24h;root/data/www/images/;#指定图片存放路径access_log/data/www/images/nginx/logs/images.log;#图片日志路径
分类：
系统相关 时间：
2019-01-20 11:50:14
阅读次数：
316
需求：AB两台日志服务器实时生产日志主要类型为access.log、nginx.log、web.log，现在要求：把A、B机器中的access.log、nginx.log、web.log采集汇总到C机器上然后统一收集到hdfs中，但是在hdfs中要求的目录为： /source/logs/access/日期/** /source/logs/nginx/日期
分类：
Web程序 时间：
2019-01-17 17:43:30
阅读次数：
208
tomcat日志格式 在配置文件 server.xml 中，具体参照官方文档 https://tomcat.apache.org/tomcat-8.0-doc/config/valve.html#Access_Log_Valve A formatting layout identifying the ...
分类：
Web程序 时间：
2019-01-14 23:03:30
阅读次数：
250
import timepoint=0 #第一次开始读取时从0开始while True: #服务器一直再运行所以写个死循环 ips={}#定义一个空字典存放IP用，放在循环下边是因为每次读取时都会重新定义 f = open('access.log',encoding='utf-8') f.seek(p ...
分类：
其他好文 时间：
2019-01-10 11:25:12
阅读次数：
146
安装方法：rpm及源码安装：#./configure--prefix=/usr/local/nginx--conf-path=/etc/nginx/nginx.conf--user=nginx--group=nginx--error-log-path=/var/log/nginx/error.log--http-log-path=/var/log/nginx/access.log--pid-pat
分类：
其他好文 时间：
2019-01-08 12:23:48
阅读次数：
159
Nginx Access Log日志统计分析常用命令Nginx Access Log日志统计分析常用命令IP相关统计 统计IP访问量 查看某一时间段的IP访问量(4-5点) 查看某个时间点的IP访问量(11点54：37) 查看访问最频繁的前100个IP 查看访问100次以上的IP 查询某个IP的详细 ...
分类：
数据库 时间：
2019-01-02 15:13:51
阅读次数：
239
