做网站的都知道，平常经常要查询下网站PV、UV等网站的访问数据，当然如果网站做了CDN的话，nginx本地的日志就没什么意义了，下面就对nginx网站的日志访问数据做下统计； 概念： UV(Unique Visitor)：独立访客，将每个独立上网电脑（以cookie为依据）视为一位访客，一天之内（0 ...
分类：
Web程序 时间：
2018-07-19 17:22:11
阅读次数：
233
需求 由于nginx的日志会不停地增大，所以需要我们自己去切割日志，方便管理，需要达到以下的效果： 分析 As we all know，linux系统下一切都是文件，所以每一个进程都有其文件描述符，而nginx进程将其自己的文件描述符写入了nginx.pid中，我们需要告诉nginx，让其重新打开一 ...
分类：
系统相关 时间：
2018-07-19 13:43:04
阅读次数：
203
访问web提示如下错误：nginx日志报upstream timed out (110: Connection timed out) while reading response header错误。环境：nginx做代理，转给apache解决办法：原因在于nginx proxy的超时时间太短，建议修改如下配置文件。[root@localhost ~]# vi /usr/local/kk-mail/
分类：
Web程序 时间：
2018-07-17 11:41:29
阅读次数：
242
1、定义NGINX错误日志worker_processes1;events{worker_connections1024;}error_loglogs/error.log;#定义日志路径，默认级别为error，配置位置main体里http{includemime.types;default_typeapplication/octet-stream;sendfileon;keepalive_time
分类：
其他好文 时间：
2018-07-16 18:32:14
阅读次数：
187
logstash收集nginx访问日志 安装nginx 浏览器访问：http://192.168.247.135/ 查看nginx日志 编写logstash #添加--configtest参数检查配置语法是否有误！！！[root@elk-node1 ~]# /opt/logstash/bin/log ...
分类：
其他好文 时间：
2018-07-15 21:16:44
阅读次数：
193
logstash对nginx日志进行解析过滤转换等操作；配置可以用于生产环境，架构为filebeat读取日志放入redis，logstash从redis读取日志后进行操作；filter{json{source=>"message"remove_field=>"message"}useragent{source=>"agent"target=>"agent"remove_fi
分类：
其他好文 时间：
2018-07-13 11:13:09
阅读次数：
188
需求：统计某网站的pv（网页浏览量），uv（用户量）的数据量，并存储于数据库中，以便于用户查询。 思路分析： 具体实现： 1.1在hive中建立相对应的数据库，再在数据库中创建与logs数据相对应的管理表，并在其中补充与数据对应的字段。（hive表在hdfs中对应的是一个目录） 1.2将logs数据 ...
分类：
其他好文 时间：
2018-07-10 23:33:44
阅读次数：
253
本地有2套环境商城优惠券商城需要内部调用优惠券的接口，我们使用curl调用，在本地部署测试环境时发现一直在转出不来，系统卡死。查看nginx日志找了半天发现调用其他机器的正常，就是本地的不行。最后发现是PHP的fastcgi并发阻塞，在Linux下可以使用线程，但是Windows下的fastcgi不支持。处理:手动启动2个fastcgi127.0.0.1:9000127.0.0.1:9001@ec
当我们需要购买CDN时，我们肯定要规划在哪个位置购买才最合适，这个时候要是有一份Nginx访问者IP的地理位置图就能有个最直接的参考指标。
这个时候Graylog就出场了，通过GeoLiteCity数据库来过滤并生成访问IP分布城市图。
分类：
其他好文 时间：
2018-07-02 18:17:14
阅读次数：
371
1、计算文件中每个单词的重复数量egrep-o"[a-zA-Z]+"/etc/passwd|sort|uniq-c2、Nginx日志access.log格式如下192.168.91.1--[01/Jul/2018:20:39:26+0800]"GET/favicon.icoHTTP/1.1"404571"-""Mozilla/5
分类：
其他好文 时间：
2018-07-01 13:42:01
阅读次数：
186
