1. 大数据挖掘实战平台建设是培养云计算与大数据时代新型数据分析人才的需要。 2. 大数据挖掘实战平台建设能有力促进及推动学校及各学院科研水平,为大数据的分析及挖掘提供基础平台。 3. 该工程与实战中心的建立能使学校走在全省高校,乃至全国高校前列,能为其余高校建立同类大数据挖掘实战平台提供示范经验,...
分类:
其他好文 时间:
2015-04-10 10:58:38
阅读次数:
230
一、关于Pig:别以为猪不能干活1.1 Pig的简介 Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编....
分类:
其他好文 时间:
2015-04-10 06:43:44
阅读次数:
164
R语言数据分析系列之七,回归分析建模是数据分析里面很重要的一个应用之一,即通过使用已有的自变量的值建立某种关系,来预测未知变量(因变量)的值。如果因变量是连续的那就是回归分析,如果因变量为离散的,可以理解为是分类。...
分类:
编程语言 时间:
2015-04-09 15:34:48
阅读次数:
223
1. RCurl设置代理
假设代理地址是10.10.10.10;端口是:8080.
设置代理地址如下:
curl
getURL("http://baidu.com",curl=curl)
2. 抓取网页中的表格
library(XML)
library(RCurl)
u ="http://en.wikipedia.org/wiki/List_of_countri...
分类:
编程语言 时间:
2015-04-09 08:59:16
阅读次数:
353
栅格向矢量转换处理的目的,是为了将栅格数据分析的结果,通过矢量绘图装置输出,或者为了数据压缩的需要,将大量的面状栅格数据转换为由少量数据表示的多边形边界,但是主要目的是为了能将自动扫描仪获取的栅格数据加入矢量形式的数据库。...
分类:
其他好文 时间:
2015-04-08 18:10:30
阅读次数:
136
ps: 转自2014-11-04 数据海洋BI临时需求处理规范及文档管理内容一、目的规范BI处理的临时需求。便于部门同事了解业务以及借鉴。二、临时需求的定义由业务部门向BI提出的一次性数据需求。主要用亍解决业务方某个点的问题。三、文档的内容在临时需求处理完成后,完成以下内容,放入到共享文件夹中。各个...
分类:
其他好文 时间:
2015-04-08 06:36:02
阅读次数:
121
一. 安装pandas1. Anaconda 安装pandas、Python和SciPy最简单的方式是用Anaconda。Anaconda是关于Python数据分析和科学计算的分发包。2. Miniconda 使用Anaconda会安装一百多个依赖包,如果想灵活控制安装的依赖包或带宽有限,使用Min...
分类:
其他好文 时间:
2015-04-08 06:30:47
阅读次数:
267
IDC评述网(idcps.com)04月07日报道:根据百度统计的最新数据显示,在3月份,国内操作系统市场份额比拼中,Win7猛涨1.93%,升至44.08%,与份额为44.57%的霸主WinXP相差无几,取而代之指日可待。下面,请看详细的数据分析。(图1)3月国内操作系统市场份额分布图根据图1,可知..
要做数据分析,领导让研究一下kettle。先占个坑。这里有个3.0的文档:http://wenku.baidu.com/link?url=hvw_cOBIXLXSGvftkGhXQic3CLC75-0IILGrtB-AyuxIgaDarhmZjfBLhMRcn9gIUEQPJ1OtxTT9joLgV...
分类:
其他好文 时间:
2015-04-07 19:33:26
阅读次数:
197
一、关于数据数据可以分为两类,一类为运营指标数据。一类为业务行为数据。1.运营指标数据 比如DAU,PCU,LTV,ROI等常用的代表游戏目前线上运营状态的一些数据指标,用单个指标或者多个指标组合来反映游戏目前的线上运营状态,指标之间一般都有关联,通过相关定义转换计算获得。 举例:从游戏的用户数.....
分类:
其他好文 时间:
2015-04-07 00:33:31
阅读次数:
181