4.1 数据清洗： 删除原始数据集中的无关数据、重复数据、平滑噪声数据，筛选掉与挖掘无关的数据，处理缺失值、异常值 4.1 数据清洗： 删除原始数据集中的无关数据、重复数据、平滑噪声数据，筛选掉与挖掘无关的数据，处理缺失值、异常值 常见的插补方法：均值/中位数/众数 插补；使用固定值；最近邻插补；回 ...
分类：
其他好文 时间：
2016-12-10 19:46:51
阅读次数：
300
1.csv作为数据中介,速度最快,但是如果某个字段的内容有逗号,整个都乱套了, 还是用excel2007格式比较好. 2.导入表的字段,最好设为nvarchar,可以为空.类型转换以后再说 3.数据清洗,比如客户数据,性别,地址. 第二步：格式内容清洗 如果数据是由系统日志而来，那么通常在格式和内容 ...
分类：
其他好文 时间：
2016-12-09 19:23:29
阅读次数：
276
我们在数据分析之前需要进行数据处理、数据录入并把数据清洗干净，做好数据的加工和描述工作。 【参考文献】《数据分析：企业的贤内助》 陈哲 著 ...
分类：
其他好文 时间：
2016-12-05 09:32:02
阅读次数：
274
爬虫爬下来的数据，有个字段含有大量脏数据，如图1所示，现在需要提取出“红色框”中的“作者机构名称”。 一开始用的excel，替换、分类、按照模式的快速填充各种都用上了，但是，数据量太大了（有上万条，辛苦机器性能还行）而且你懂得，人工操作肯定有误操作而且分列啥的这些功能适应新不怎么强，结果，弄了小半天 ...
分类：
其他好文 时间：
2016-11-28 00:43:26
阅读次数：
136
解码阿里数据：对外数据产品也浮出水面 2014-05-21 大数据时代，阿里巴巴[微博]集团是最有资本进行烂漫遥想的公司之一，阿里数据平台事业部的服务器上，攒下了超过100PB已“清洗”的数据。 马云[微博]曾在2012年公开宣称，“平台、数据、金融”是阿里集团和阿里小微集团未来的指导路线。在此前后 ...
分类：
其他好文 时间：
2016-11-28 00:15:57
阅读次数：
235
Oozie 任务调度框架(基于工作流) 任务调度框架 Oozie三大功能 Oozie的架构 Oozie安装部署 ...
分类：
其他好文 时间：
2016-11-24 15:22:39
阅读次数：
282
新系统上线后，需要导入历史数据，但是旧数据格式，数据缺失，数据错误，奇异值，属性归类与新系统有很大的gap。因此我们需要建立一套数据动态清洗规则给Salesforce系统，通过这些规则自动清洗导入数据，清洗规则可以让function自己配置。而不需要IT负责 下面将详细举一个例子如何在salesfo ...
分类：
其他好文 时间：
2016-11-19 20:29:18
阅读次数：
266
1.分析过程： -》需求分析 -》数据清洗：源表 -》格式化 -》过滤字段 -》use表 -》数据分析 -》数据导出 2.日志（第一条） 3.Apache官网的关于日志的加载的案例 4.自定义实现北风的日志加载 ...
分类：
其他好文 时间：
2016-11-17 00:28:39
阅读次数：
176
目录 1. stringr介绍 stringr包被定义为一致的、简单易用的字符串工具集。所有的函数和参数定义都具有一致性，比如，用相同的方法进行NA处理和0长度的向量处理。 字符串处理虽然不是R语言中最主要的功能，却也是必不可少的，数据清洗、可视化等的操作都会用到。对于R语言本身的base包提供的字 ...
分类：
其他好文 时间：
2016-11-14 20:05:54
阅读次数：
380
尽管自Windows商店启用以来，应用生态仍然面临匮乏局面，但还有此前没有根治的质量监管问题。在任何移动应用商店初期都会到大量粗制滥造应用，使得商店应用数量虚涨，而良好设计的Windows应用会被淹没。 针对这些质量不佳且长期没有得到更新的应用，微软Win10商店正在采取大清洗措施。 根据一些陈旧三 ...
