1：Web日志分析系统概述
2：需求分析：日志提取预处理，KPI指标设计，存储与展现
3：算法模型：Hadoop并行算法
4：架构设计：用Maven构建hadoop项目
5：程序实现：MR2V程序实现
6：结果可视化
一：Web日志分析系统概述
Web日志由Web]服务器产生，可能是Nginx，Apache，Tomcat等，从Web日志中我们可以提取到很多有用的信息，比如说网...
分类：
Web程序 时间：
2016-05-27 02:04:17
阅读次数：
226
今天早上看了一个帖子，介绍说谷歌、英特尔、领英这几家公司已经放弃KPI，专项OKR。好奇之下看了一下OKR的解释。看完之后，倒也不能说没有收获，只是感觉想在现在自己的部门里推行还有挺多难度。想了解的朋友点击此处。 作为测试部的leader，有时候不得不对部门里做一些强制性的要求和检查，不管怎么说，我 ...
分类：
其他好文 时间：
2016-05-24 15:14:39
阅读次数：
187
今天首先回答上一篇的问题： 为什么APP通过运营商接入网络,连通率会那么差？ 1. 域名缓存问题 运营商的localdns会缓存域名的解析结果，不向权威DNS递归查询解析 为什么要这么干呢？ 1）运营商之间的跨网流量结算费用比较贵（他们内部技术团队的KPI），为了最大化的在本网消耗（内部结算好算）， ...
分类：
移动开发 时间：
2016-05-23 19:05:37
阅读次数：
172
Hadoop 提取KPI 进行海量Web日志分析Web日志包含着网站最重要的信息，通过日志分析，我们可以知道网站的访问量，哪个网页访问人数最多，哪个网页最有价值等。一般中型的网站(10W的PV以上)，每天会产生1G以上Web日志文件。大型或超大型的网站，可能每小时就会产生10G的数据量。
Web日志分析概述
需求分析：KPI指标设计
算法模型：Hadoop并行算法
架构设计：日志KPI系统架构
程序...
分类：
Web程序 时间：
2016-05-13 15:17:54
阅读次数：
274
近日，互联网圈被百度董事长兼CEO李彦宏的一封内部信刷屏，信中李彦宏多次强调用户至上，牺牲收入在所不惜，痛斥公司从管理层到员工对短期KPI的追逐，使百度的价值观被挤压变形，更发出“如果失去了用户的支持，失去了对价值观的坚守，百度离破产就真的只有30天！”的肺腑之言。 5月9日，国家网信办联合调查组向 ...
分类：
其他好文 时间：
2016-05-13 09:45:21
阅读次数：
130
告警性能优化过程中，遇到如下问题：1、 在数据库计算几十万个实体的KPI值的方差；2、 计算结果进行表格化处理。 这里KPI包含多个Counter的数据库函数运算（比如Decode，AVG等函数），方差也是数据库函数运算，性能比较差。 步骤1中每个实体独立计算方差，步骤2需要方差结果协同处理，所以很 ...
分类：
编程语言 时间：
2016-04-24 17:10:44
阅读次数：
173
记录一下新项目的搭建。 试想一下，如果没有历史负担，没有KPI压力，去新搭建一个项目，你会怎么设计和实现呢？ 本系列文章不是教你怎么从0开始学Android，从0开始怎么建一个项目，而定位于零负担的情况下，在2016年怎么去创建一个好的Android项目，其中一部分技术并不太适合刚入门的初学者。 A ...
分类：
移动开发 时间：
2016-04-23 22:43:04
阅读次数：
252
最近公司兴起了对OKR这个词的讨论，并且听到时总会伴随提到KPI，提到绩效考核。那OKR到底是什么呢？与KPI的区别在哪里？与绩效考核有什么关系？它与我们现在推行的敏捷开发有啥关系呢？因此，就到网上查了些资料，加上个人的一些经验和理解，尽量用少的篇幅，整理成了这篇文章。 一、什么是OKR 我们先来看 ...
分类：
其他好文 时间：
2016-04-11 09:59:38
阅读次数：
3639
数据仓库是企业统一的数据管理的方式，将不同的应用中的数据汇聚，然后对这些数据加工和多维度分析，并最终展现给用户。它帮助企业将纷繁浩杂的数据整合加工，并最终转换为关键流程上的KPI，从而为决策/管理等提供最准确的支持，并帮助预测发展趋势。因此，数据仓库是企业IT系统中非常核心的系统。
根据企业构建数据仓库的主要应用场景不同，我们可以将数据仓库分为以下四种类型，每一种类型的数据仓库系统都有不同的...
分类：
其他好文 时间：
2016-04-05 17:51:51
阅读次数：
197
KPI Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 1160 Accepted Submission(s): 488 Problem Desc ...
分类：
编程语言 时间：
2016-03-30 22:28:06
阅读次数：
236
