前段时间，工作上需要做一个针对视频质量的统计分析系统，各端（PC端、移动端和 WEB端）将视频质量数据放在一个 HTTP 请求中上报到服务器，服务器对数据进行解析、分拣后从不同的维度做实时和离线分析。（ps：这种活儿本该由统计部门去做的，但由于各种原因落在了我头上，具体原因略过不讲……） KNN的... ...
分类：
其他好文 时间：
2016-07-31 15:43:10
阅读次数：
219
从我第一次正式的写sql语句到现在，已经超过10年的时间了。我写报表，做统计分析和财务对账，我一点点的接触oracle数据库，并尝试深入了解。这条路，一走就是10年，从充满热情，到开始厌倦，我不知道我还能坚持多久，未来的路，谁知道呢？ 也许是该抓紧时间，做一点什么了，我不知道该开始写些什么，我从来没 ...
分类：
数据库 时间：
2016-07-25 18:15:15
阅读次数：
344
最近经常查看nginx日志，有时候需要做一些统计分析，于是就想起了awk，学习了就顺便做一个记录。 目录 概述：简单介绍awk背景原理 基本用法：常用到的awk语法 内建变量 综合实例 概述 awk是创始人Aho, Kernighan and Weinberger的首字母简写，是一个基于列的流处理工 ...
分类：
系统相关 时间：
2016-07-23 13:43:18
阅读次数：
302
org.apache.log4j.Logger 详解
1. 概述
1.1. 背景
在应用程序中添加日志记录总的来说基于三个目的 ：监视代码中变量的变化情况，周期性的记录到文件中供其他应用进行统计分析工作；跟踪代码运行时轨迹，作为日后审计的依据；担当集成开发环境中的调试器的作用，向文件或控制台打印代码的调试信息。
最普通的做法就是在代码中嵌入许多的打印语句，这些打印语句...
分类：
Web程序 时间：
2016-07-19 13:49:04
阅读次数：
251
统计学是在数据分析的基础上，自17世纪中叶产生并逐步发展起来的一门学科。它是研究如何测定、收集、整理、归纳和分析反映数据，以便给出正确消息的科学。统计广泛地应用在各门学科，从自然科学、社会科学到人文学科，甚至被用来工商业及政府的情报决策之上，目前比较热门的应用：经济学，医学，心理学等。随着大数据(Big Data)时代来临，统计的面貌也逐渐改变，与信息、计算等领域密切结合，是数据科学(Data Science)中的重要主轴之一。...
分类：
其他好文 时间：
2016-07-19 11:10:39
阅读次数：
433
概率，又称或然率、机会率、机率（几率）或可能性，它是概率论的基本概念。事件的概率是衡量该事件发生的可能性的量度。虽然在一次随机试验中某个事件的发生是带有偶然性的，但那些可在相同条件下大量重复的随机试验却往往呈现出明显的数量规律。...
分类：
其他好文 时间：
2016-07-19 10:43:09
阅读次数：
162
一．内存溢出解决方案 在做数据统计分析时，经常会遇到大数组，可能会发生内存溢出，这里分享一下我的解决方案。还是用例子来说明这个问题，如下： 假定日志中存放的记录数为500000条，那么解决方案如下： ini_set(‘memory_limit’,’64M’); //重置php可以使用的内存大小为64 ...
分类：
Web程序 时间：
2016-07-12 15:28:18
阅读次数：
157
一种面向电信行业基站数据的数据采集系统的设计与实现
1，项目简介
本论文来源于上海电信应急指挥平台。上海电信应急指挥平台主要是采集上海所有基站的一些与应急相关的实时数据，将这些数据做统计分析工作之后，在web浏览器上展示出来，便于电信上级的部门做决策。由于本人主要负责数据采集模块的架构、设计和开发工作。对这个领域有点体会，本篇文章主要总结这个领域的一些实践工作。
由于在数据采集的领域主要以使...
分类：
移动开发 时间：
2016-07-12 12:18:56
阅读次数：
358
我们在分析问题的时候，为了准确全面的反映问题，常常收集很多变量，这些变量之间往往具有相关性，导致存在大量的重复信息，直接使用的话，不但模型非常复杂，而且所引起的共线性问题会使模型准确度降低。对此，我们经常使用主成分分析对数据进行处理，主成分分析是考察多变量间相关性的一种多元统计分析方法，基本思想是： ...
分类：
其他好文 时间：
2016-07-09 23:43:33
阅读次数：
193
在应用程序中添加日志记录总的来说基于三个目的：监视代码中变量的变化情况，周期性的记录到文件中供其他应用进行统计分析工作；跟踪代码运行时轨迹，作为日后审计的依据；担当集成开发环境中的调试器的作用，向文件或控制台打印代码的调试信息。 最普通的做法就是在代码中嵌入许多的打印语句，这些打印语句可以输出到控制 ...
分类：
其他好文 时间：
2016-07-07 17:04:09
阅读次数：
141
