5、Sqoop安装配置在rmanager上操作#tar-zxfsqoop-1.4.5.bin__hadoop-2.5.0.tar.gz-C/var/data/#cd/var/data/;mvsqoop-1.4.5sqoop##这里的sqoop是编译后的版本#mvsqoop/conf/sqoop-site-template.xmlsqoop/conf/sqoop-site.xml#cp/opt/mysql-connector-java-5.1.18-bin.jarsqoop..
分类：
其他好文 时间：
2015-11-05 00:57:19
阅读次数：
315
要实现给mvc 和api 接口全局添加日志统计，web api添加的方式有些不同FilterConfig.cs 页面 public class FilterConfig { public static void RegisterGlobalFilters(GlobalFilter...
适用情境 ? ? 项目中大量控制器需要在载入时进行日志统计或进行类似的处理。如果直接往所有控制器中进行代码编写，会产生大量的重复的代码，降低了代码后期的可读性，不利于维护。由于所有部分的逻辑代码相同，...
分类：
其他好文 时间：
2015-09-10 16:06:50
阅读次数：
186
在很多时候，我们会非常关注网站的访问量，比如网站的日PV是多少、网站某个功能上线之后点击量是多少，像这些东西都是需要从web容器中的访问日志统计出来的，下面我们看一下如何在nginx中统计网站的访问信息 1、设...
分类：
其他好文 时间：
2015-08-26 18:07:10
阅读次数：
273
影像拼接工具使用说明水利事业部 一、影像像素位深检查 1.采用开源库GDAL的gdalinfo.exe读取GeoTiff文件的信息，如类型、投影，范围等。2.采用DOS脚本遍历所有GeoTiff文件，输出各个GeoTiff文件的信息到日志。3.统计GeoTiff文件个数，Type=Byte的文件的个...
分类：
移动开发 时间：
2015-08-19 16:23:01
阅读次数：
441
统计访问频次最高的10个ip:cat /var/log/httpd/access_log |awk '{print $1}'|sort|uniq -c|sort -nr|head -10统计恶意ip（结果为403的请求）cat /var/log/httpd/access_log|awk '{if($...
分类：
Web程序 时间：
2015-07-27 12:35:06
阅读次数：
138
在很多时候，我们会非常关注网站的访问量，比如网站的日PV是多少、网站某个功能上线之后点击量是多少，像这些东西都是需要从web容器中的访问日志统计出来的，下面我们看一下如何在nginx中统计网站的访问信息1、设置Nginx访问日志记录格式在默认情况下，nginx只是记录相关get信息，像post页.....
分类：
其他好文 时间：
2015-07-17 17:57:44
阅读次数：
99
最近一直在考虑架构的事情，有一个问题依然困扰着我们这些做业务系统的，那就是日志以及日志统计。大概的问题如下： 我们有很多模块，日志格式虽然类似但都写在各自的服务器和目录中。 日志中有很多信息是key=>va...
分类：
数据库 时间：
2015-07-07 23:05:08
阅读次数：
518
1.概述 在《Kafka实战－实时日志统计流程》一文中，谈到了Storm的相关问题，在完成实时日志统计时，我们需要用到Storm去消费Kafka Cluster中的数据，所以，这里我单独给大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目录：Storm简述基础软件安装部署效果预览....
分类：
其他好文 时间：
2015-06-18 13:04:35
阅读次数：
125
我们在统计访问日志的时候，经常要提及到三个概念：UVPVIP,其中UV与IP的区别有时让初学者摸不着头脑，简单的聊一下这些概念：一、Cookie、UV和IP的概念要区别UV和IP，就要先说到Cookie。Cookie（或Cookies）指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上..
分类：
其他好文 时间：
2015-06-05 17:55:02
阅读次数：
698
