一：概述 在大多数情况下，如果使用MapReduce进行batch处理，文件一般是存储在HDFS上的，但这里有个很重要的场景不能忽视，那就是对于大量的小文件的处理（此处小文件没有确切的定义，一般指文件大小比较小，比如5M以内的文件），而HDFS的文件块一般是64M，这将会影响到HDFS的性能，因为小 ...
分类：
其他好文 时间：
2018-02-05 18:39:13
阅读次数：
198
网站统计中的数据收集原理及实现 网站数据统计分析工具是网站站长和运营人员经常使用的一种工具，比较常用的有谷歌分析、百度统计和腾讯分析等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于javascript的。本文将简要分析这种数据收集的原理，并一步一步实际搭建 ...
分类：
Web程序 时间：
2018-02-04 17:58:55
阅读次数：
232
转载自：http://blog.csdn.net/marsjohn/article/details/54911788 在数据的统计分析中，数据之间即变量x与Y之间的相关性研究非常重要，通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线，它们之间或者正相关或者负相关。虽然这些数据是离散 ...
分类：
其他好文 时间：
2018-02-02 20:16:19
阅读次数：
278
腾讯移动分析（Mobile Tencent Analytics，简称MTA）是一款专业的第三方移动统计分析运营平台，是腾讯大数据对外开放的核心产品之一。平台不仅提供大数据的指标统计，满足常规的移动App运营诉求；还提供个性化、精细化的运营工具，能够有针对性去解决产品研发、运营中遇到具体领域问题；同时，还通过数据的开放生态，输出腾讯在大数据领域积累的能力，帮助企业快速、低成本使用或构建数据平台，提升企业竞争力。
分类：
移动开发 时间：
2018-02-01 11:45:03
阅读次数：
305
1、Druid 查询概述 上一节完成数据导入后，接下来讲讲Druid如何查询及统计分析导入的数据。 Druid的查询是使用REST风格的HTTP请求查询服务节点（Broker、Historical、Realtime），这些服务节点暴露REST查询接口，客户端发送Json对象请求查询接口。一般情况下， ...
分类：
其他好文 时间：
2018-01-30 17:03:52
阅读次数：
1989
周梁伟 网易云信系统架构师 2011年加入网易，负责云信IM平台的架构设计和服务器研发团队，曾先后参与了云存储系统、日志采集平台、通用网站数据分析平台、易信后台等基础平台和产品系统的功能设计和开发 也从事过HBase集群运维、数据统计分析等大数据相关工作，对大数据技术在线上产品中的 应用具有一定的实 ...
分类：
其他好文 时间：
2018-01-27 21:14:25
阅读次数：
186
前言 前段时间想着系统学习统计分析方法，又想着基于应用的目的来学习，所以有了前篇《统计分析方法知识图谱》。写完之后开始学了张文彤老师的《SPSS20.0统计分析基础教程》的初中和高阶教程，初中阶没问题，到高阶简直看得云里雾里。多少做了些思维导图梳理，以其给出的知识图谱，再辅以案例为线索，写上几句能理 ...
分类：
其他好文 时间：
2018-01-21 22:32:43
阅读次数：
385
什么是流量统计？ 流量统计是指通过各种科学的方式，准确的纪录来访某一页面的访问者的流量信息。说白了就是获取一些我们需要的用户信息，然后进行统计分析。 网站流量统计是一种可以准确的分析访客用户的来源，便于网站管理者根据访客的需求增加或者修改网站的相关内容，便于更好的提升网站转换率，提高网站流量。 为什 ...
分类：
Web程序 时间：
2018-01-21 11:10:13
阅读次数：
212
1、Hive 基本概念 Hive是基于Hadoop的一个 数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能； Hive是构建在Hadoop 之上的数据仓库； 使用HQL作为查询接口；使用HDFS存储；使用MapReduce计算； 简单来说，Hive就是在Hadoop上架了一层 ...
分类：
其他好文 时间：
2018-01-15 16:34:17
阅读次数：
173
Titanic生存预测 ——数据模型汇总报告 摘要 R语言多元统计分析课程是一门综合理论和实践的大课程，既需要我们掌握基本的多元统计分析技术理论，又需要针对具体问题在R的环境中实现。 本文在基本的多元统计分析技术理论基础上，结合机器学习基本模型，挑选了Kaggle（数据建模竞赛网站）的入门赛——Ti ...
分类：
编程语言 时间：
2018-01-13 20:49:51
阅读次数：
3562
