最近散仙在做公司的一个跟搜索有关的数据分析项目，主要就是统计搜索的转化率，目的主要有以下几个：（1）通过数据分析挖掘，找出搜索业务在整个平台系统里的GMV里所占份额（2）给公司的搜索算法调优，提供可靠的参考依照（3）了解从搜索入口到最终交易之间各个阶段的数据比重，主要有搜索点击率，搜索曝光率，搜索添...
分类：
其他好文 时间：
2015-01-30 22:28:44
阅读次数：
267
云计算数据分析浪潮惊涛拍岸，大数据色彩斑斓，IT世界，已不只是PC+服务器的旧模样。亚马逊发明的基础设施即服务(IaaS)倍受赞叹，Google的云计算引擎(Compute Engine)一石激起千层浪，甚至不太知名的Rackspace公司也在以开源云服务OpenStack大放异彩……以Google...
分类：
其他好文 时间：
2015-01-30 15:15:30
阅读次数：
212
从数据分析角度出发，数据挖掘可以分为两种类型：描述型数据挖掘和预测性数据挖掘。前者是以简洁概述的方式表达数据中的存在一些有意义的性质；而后者则通过对所提供数据集应用特定的方法分析所获得的一个或一组数据模型，并将该模型用于预测未来新数据的有关性质。描述型数据挖掘又称为概念描述(concept desc...
分类：
其他好文 时间：
2015-01-28 00:47:13
阅读次数：
243
Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟级的时间。作为MapReduce的发起人，Google开发了Dremel将处理时间缩短到秒级，作为MapReduce的有力补充。Dremel作为Google ...
分类：
其他好文 时间：
2015-01-27 21:35:45
阅读次数：
290
Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。而另一方面，MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候，谷歌好像早已进入到了下一个时代。
分类：
其他好文 时间：
2015-01-27 21:31:48
阅读次数：
374
角色QA：测试人员RD：开发人员BI：数据分析师PD：需求人员UED：交互设计ttid:用来统计数量。随着业务线的增加, 及每个业务的扩展, 为统计不同渠道下单量, 会为每个渠道申请一个ttid, 使用订单信息查询可以确认最终下单的ttid是否正确埋点测试：检查埋点数据正确性，埋点作用于PV、UV、...
分类：
其他好文 时间：
2015-01-27 16:15:31
阅读次数：
205
1、产品概述
Hive作为大数据时代的数据仓库工具，使我们分析处理海量结构化数据成为可能。越来越多的公司和机构都将Hive作为应对大数据分析的强有力工具。但使用中，比较明显的问题便是当存在多个应用同时使用同一Hive的时候，如何有效控制彼此的数据安全，如何更方便使用Hive UDF的扩展机制。
当然，作为大数据平台开发过程中也同样遇到这些问题。整个公司不同业务方的数据汇聚到数据平台后，对数据的...
分类：
其他好文 时间：
2015-01-27 11:15:53
阅读次数：
192
Spark是基于内存的大数据分析平台，由UC Berkely AMP lab发布的一大神器。相比Hadoop而言，其最大的优势是基于内存，这样可以极大提高其速度和通用性。本文从最简单的安装到第一个应用脚本，引导初学者入门。。。。...
分类：
其他好文 时间：
2015-01-27 00:39:23
阅读次数：
322
概要来源：1660年，德国人使用statt记录人们出生、死亡信息。定义：用收集数据、分析数据、由数据得出结论的一组概念、方法。思想核心：随机性、规律性及彼此关系。统计学根基：1 概率，一个取值为0到1的数，告诉我们某一特定时间有多大机会发生。2 变量，可能取2个或更多可能值的特征、特质或属性。 eg...
分类：
其他好文 时间：
2015-01-27 00:31:10
阅读次数：
174
信息时代是“商业智能”大显身手的时代。商业竞争中，对信息处理和利用能力的强弱成为决定企业兴衰成败的关键。越来越多的企业开始利用业务信息流和数据分析技术进行智能重整，从不同层面帮助企业实现目标。从全球范围来看，商业智能领域已经成为最具增长潜力的领域。从国内来看，商业智能越来越被广泛应用，逐步在大企业普...
分类：
其他好文 时间：
2015-01-26 11:28:15
阅读次数：
206
