上部分讲了些跟数据有关的概念，这部分来聊一聊操作。这里讲的操作其实是对数据预处理的操作。大概有以下这些操作。 数据聚合（Aggregation） 数据取样（Sampling） 数据降维 属性子集选取 构建属性 离散化和二分化属性 变量转换数据聚合 有个思想叫做"less is more",即所谓删繁...
分类：
其他好文 时间：
2015-05-12 11:15:18
阅读次数：
128
Weka是一款使用Java语言编写的数据挖掘机器学习软件，是GNU协议下分发的开源软件。Weka提供了一整套完整的数据处理工具，学习算法和评价方法，包含数据可视化的图形用户界面。
Weka系统汇集了最前沿的机器学习算法和数据预处理工具，它包含处理标准数据挖掘问题的所有方法：回归，分类，聚类，关联规则以及属性选择。
在进行安装之前，首先要到官网上去下载weka安装文件。
下载地址：http://...
分类：
其他好文 时间：
2015-05-08 18:16:11
阅读次数：
168
1. 数据预处理阶段，判定冗余数据用到的相关性分析、协方差分析（统计分析）：2. 关联规则中的支持度、置信度、相关性分析（概率分析）：
分类：
其他好文 时间：
2015-05-01 22:34:03
阅读次数：
184
Struts2 action前的数据预处理在进入updateDormitory.jsp页面，之前，获取了dormitory和buildings的消息，放入值栈。页面就可以获取得到了。 修改 /jsp/updateDormitory.jsp public String beforeUpdateDorm...
分类：
其他好文 时间：
2015-05-01 16:03:52
阅读次数：
124
竞赛介绍：链接这篇文章记录2015阿里天池大数据竞赛中，我的一些代码，由于目前还在比赛中，仅分享一个naive solution，基于规则，代码主页在我的github上：链接，下面是代码说明。有兴趣的请看代码注释，恕不详述。 本repo目录说明
data 存放数据
preprocess 数据预处理
rule 根据规则生成提交文件
model 训练机器学习模型（暂时不分享）
代码使用说...
分类：
其他好文 时间：
2015-04-14 08:32:52
阅读次数：
217
opencv 2 归一化函数normalize详解
1. 归一化定义与作用
归一化就是要把需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保证程序运行时收敛加快。归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在某个区间上是统计的坐标分布。归一化有同一、统一和合一的意思。
归一...
分类：
其他好文 时间：
2015-03-28 08:48:56
阅读次数：
165
数据预处理假设6通道EEG（4通道EEG+2通道EOG），生成ndarray或矩阵S，row为time point，col为通道。对S进行标准化：S /= S.std(axis=0)ICA分析模块导入：from sklearn.decomposition import FastICA构建ICA对象，...
分类：
其他好文 时间：
2015-03-19 20:16:43
阅读次数：
342
线性回归数据来自于国泰安数据服务中心的经济研究数据库。网址：http://www.gtarsc.com/p/sq/。数据名称为：全国各地区能源消耗量与产量，该数据的年度标识为2006年，地区包括我国30个省，直辖市，自治区（西藏地区无数据）。1.1 数据预处理数据预处理包括的内容非常广泛，包括数据清...
分类：
其他好文 时间：
2015-03-18 17:35:44
阅读次数：
308
数据预处理的目的：提高数据质量，数据质量的三要素：准确性、完整性、一致性。 数据预处理的任务： 数据清理 数据集成 数据规约 数据变换 数据清理——填充缺失的值、光滑噪声、识别离群点、纠正数据中的不一致 缺失值： 忽略元组 人工填写缺失值 使用一个全局常量 使用属性的中心度量 使用与给定元组属同一类...
分类：
其他好文 时间：
2015-03-12 00:57:10
阅读次数：
143
第 1 章数据分析概述 11.1 什么是数据分析 . 21.2 数据分析六步曲 . 21.2.1 明确分析目的和内容 . 21.2.2 数据收集. 31.2.3 数据预处理. 31.2.4 数据分析. 31.2.5 数据展现. 41.2.6 报告撰写. 51.3 数据分析方法简介 . 51.3.1 ...
分类：
其他好文 时间：
2015-03-01 10:21:29
阅读次数：
178
