一年前，准备使用mongDb自带的map,reduce功能模拟hadoop，换个思路做一个简易的大数据分拆再结合存储的办法；这个功能可以用于数据日志或者游戏数据之类，进行周期性归纳和按照自己需求重组数据;以下代码实现了将每日数据collecttion:gameLog日期的数据统计出不同的collec...
分类：
数据库 时间：
2014-06-14 22:38:35
阅读次数：
432
是不是常常要分析用户的行为？是不是常常遇到多台服务器上传的日志一起分析？是不是对数据统计的间隔时间要求很短？还有木有因为日志文件过大，而需要分块处理？
1、说明一点在日志写入的时候必须按照一种严格的格式，这样在做解析的时候，才好切割。比如 gameid：123 gameid：2333。切割统一标准就行。
2、在生成日志的文件名的时候也要按照一定规则，在分析的时候，正则表达式好匹配，如 服务器hostname_date.log 这样在匹配的时候 只需要 glob（*—date.log）; //glob...
分类：
数据库 时间：
2014-06-08 10:38:43
阅读次数：
335
1. 数据统计的需求
互联网上对于数据的统计，一个重要的应用就是对网站站点数据的统计，例如CNZZ站长统计、百度统计、Google Analytics、量子恒道统计等等。
网站站点统计工具无外乎有以下一些功能：
1）网站流量统计：包括PV、UV、IP等指标，这些统计指标可以以趋势图的形式展示出来，如最近一周、最近一个月等。
2）IP来源信息统计：记录各个来源IP下的访问PV...
分类：
其他好文 时间：
2014-06-03 01:33:36
阅读次数：
226
由于项目的需要，使用Spss进行数据统计分析。Spss对于数据统计分析的功能有多强主要是客户关注的事情，我所主要关注的是，Spss的二次开发有多复杂。学习的基本思路是：（1）首先了解统计基本知识，例如质控图、均值极差图等。（2）然后了解Spss的使用。（当然首先得去下载安装，然后就着手练习）（3）接...
分类：
其他好文 时间：
2014-06-02 01:35:59
阅读次数：
254
此插件主要是用来统计新的访问、跳出率、服务器负载、使用的RAM等，功能很强大，带有HTML5的动画效果，效果非常炫，看效果吧easyPieChart一款新型的EASY饼图数据统计Jquery插件截图：插件下载：https://github.com/rendro/easy-pie-chart/
分类：
Web程序 时间：
2014-05-31 22:06:38
阅读次数：
709
（1）http://bioinformatics.psb.ugent.be/webtools/Venn/操作简单，不仅画出了韦恩图，还很贴心的给出了数据统计的结果并列出了各个部分对应的ID，且提供直接下载。缺点是维恩图的ID名称不够规范。（2）http://bioinfogp.cnb.csic.es...
分类：
其他好文 时间：
2014-05-28 09:34:12
阅读次数：
17166
一、统计脚本及代码 1 #!/bin/sh 2 3 root_dir=`pwd` 4
source_file="$root_dir"/operate0526.txt 5 single_file="$root_dir"/single0526.txt
6 result_file="$roo...
分类：
其他好文 时间：
2014-05-27 23:54:25
阅读次数：
524
用python做数据统计分析时，原始日志文件中用户访问的时间不对，需要往后延8小时，记录一下：>>>importdatetime
>>>pageTime=‘2014-05-1116:44:12‘
>>>pageTime
‘2014-05-1116:44:12‘1.把pageTime字符串类型转换成datetime时间类型：>>>dt..
分类：
编程语言 时间：
2014-05-14 17:18:15
阅读次数：
405
