做网站的都知道,平常经常要查询下网站PV、UV等网站的访问数据,当然如果网站做了CDN的话,nginx本地的日志就没什么意义了,下面就对nginx网站的日志访问数据做下统计; 概念: UV(Unique Visitor):独立访客,将每个独立上网电脑(以cookie为依据)视为一位访客,一天之内(0 ...
分类:
Web程序 时间:
2018-07-19 17:22:11
阅读次数:
233
需求 由于nginx的日志会不停地增大,所以需要我们自己去切割日志,方便管理,需要达到以下的效果: 分析 As we all know,linux系统下一切都是文件,所以每一个进程都有其文件描述符,而nginx进程将其自己的文件描述符写入了nginx.pid中,我们需要告诉nginx,让其重新打开一 ...
分类:
系统相关 时间:
2018-07-19 13:43:04
阅读次数:
203
访问web提示如下错误:nginx日志报upstream timed out (110: Connection timed out) while reading response header错误。环境:nginx做代理,转给apache解决办法:原因在于nginx proxy的超时时间太短,建议修改如下配置文件。[root@localhost ~]# vi /usr/local/kk-mail/
分类:
Web程序 时间:
2018-07-17 11:41:29
阅读次数:
242
1、定义NGINX错误日志worker_processes1;events{worker_connections1024;}error_loglogs/error.log;#定义日志路径,默认级别为error,配置位置main体里http{includemime.types;default_typeapplication/octet-stream;sendfileon;keepalive_time
分类:
其他好文 时间:
2018-07-16 18:32:14
阅读次数:
187
logstash收集nginx访问日志 安装nginx 浏览器访问:http://192.168.247.135/ 查看nginx日志 编写logstash #添加--configtest参数检查配置语法是否有误!!![root@elk-node1 ~]# /opt/logstash/bin/log ...
分类:
其他好文 时间:
2018-07-15 21:16:44
阅读次数:
193
logstash对nginx日志进行解析过滤转换等操作;配置可以用于生产环境,架构为filebeat读取日志放入redis,logstash从redis读取日志后进行操作;filter{json{source=>"message"remove_field=>"message"}useragent{source=>"agent"target=>"agent"remove_fi
分类:
其他好文 时间:
2018-07-13 11:13:09
阅读次数:
188
需求:统计某网站的pv(网页浏览量),uv(用户量)的数据量,并存储于数据库中,以便于用户查询。 思路分析: 具体实现: 1.1在hive中建立相对应的数据库,再在数据库中创建与logs数据相对应的管理表,并在其中补充与数据对应的字段。(hive表在hdfs中对应的是一个目录) 1.2将logs数据 ...
分类:
其他好文 时间:
2018-07-10 23:33:44
阅读次数:
253
本地有2套环境商城优惠券商城需要内部调用优惠券的接口,我们使用curl调用,在本地部署测试环境时发现一直在转出不来,系统卡死。查看nginx日志找了半天发现调用其他机器的正常,就是本地的不行。最后发现是PHP的fastcgi并发阻塞,在Linux下可以使用线程,但是Windows下的fastcgi不支持。处理:手动启动2个fastcgi127.0.0.1:9000127.0.0.1:9001@ec
当我们需要购买CDN时,我们肯定要规划在哪个位置购买才最合适,这个时候要是有一份Nginx访问者IP的地理位置图就能有个最直接的参考指标。
这个时候Graylog就出场了,通过GeoLiteCity数据库来过滤并生成访问IP分布城市图。
分类:
其他好文 时间:
2018-07-02 18:17:14
阅读次数:
371
1、计算文件中每个单词的重复数量egrep-o"[a-zA-Z]+"/etc/passwd|sort|uniq-c2、Nginx日志access.log格式如下192.168.91.1--[01/Jul/2018:20:39:26+0800]"GET/favicon.icoHTTP/1.1"404571"-""Mozilla/5
分类:
其他好文 时间:
2018-07-01 13:42:01
阅读次数:
186