本期内容 : Spark Streaming数据清理原理和现象 Spark Streaming数据清理代码解析 Spark Streaming一直在运行的，在计算的过程中会不断的产生RDD ，如每秒钟产生一个BachDuration同时也会产生RDD， 在这个过程中除了基本的RDD外还有累加器、广播 ...
分类：
其他好文 时间：
2016-05-30 07:39:38
阅读次数：
190
CleanMyMac走进我们视线有一段时间了，很多用户已经体验过CleanMyMac3更加强大的功能和更加人性化的设计，最新版本不仅新增了一目了然的邮件附件清理，iTunes 垃圾清理，脚本维护，隐私数据清理四个功能，更是新增了Dashboard和CleanMyMac菜单这两大功能，时刻监测Mac使 ...
分类：
移动开发 时间：
2016-03-28 16:54:03
阅读次数：
268
3.1 数据预处理 数据质量的三个要素：准确性、完整性和一致性。 3.1.2 数据预处理的主要任务 数据清理：填写缺失的值，光滑噪声数据，识别或删除离群点，并解决不一致性来”清理“数据。 数据集成： 数据归约: 3.2 数据清理 3.2.1 缺失值 1.忽略元组 2.人工填写缺失值 3.使用一个全局
分类：
其他好文 时间：
2016-02-14 22:10:12
阅读次数：
288
主要是使用了Tools急诊箱。先看一下Tools急诊箱的主要功能： 多种模式在线安装Discuz!，或者重装 重置管理员账号：将把您指定的会员设置为管理员 关闭功能：一键关闭/打开 [站点|插件]的操作 清理冗余数据：清理所有未使用的附件 修复数据库：对所有数据表进行检查修复工作 恢复数据库：一次性...
分类：
Web程序 时间：
2016-01-10 15:34:05
阅读次数：
514
方法：l 数据清理(Clearing)l 数据集成(Integration)l 数据变换(Transformation)l 数据归约/降维(Reduction)l 数据增维(expand)l 特征提取(generate)(1)数据清理 -- 空缺值处理 a）使用最可能的值填充空缺值，比如可以用最小二...
分类：
其他好文 时间：
2015-12-29 12:30:45
阅读次数：
141
最近做数据清理的时候，发现字符里面有很多特殊字符，如果想截取字符串中的一段字符可以用以下方法：/*截取中文括号前面的字符*/data _null_;x="aaafafsadfgadgfa（asdasgs..";/*定义字符串*/i=find(x,'（');/*确定（的位置*/j=length(x);...
分类：
其他好文 时间：
2015-12-22 16:24:51
阅读次数：
169
1、数据仓库：是一种数据存储结构。是一种多个异构数据源在单一站点的同意的模式祖师的存储，以支持管理决策。2、数据仓库技术包括数据清理、数据集成和联机分析处理（OLAP）。3、数据挖掘：是从大量数据中挖掘有趣模式和知识的过程。数据源包括数据库、数据仓库、Web、其他信息存储库或当台的流入系统数据。4、...
分类：
其他好文 时间：
2015-12-13 21:59:48
阅读次数：
249
数据预处理技术数据清理：空缺值处理、格式标准化、异常数据清除、错误纠正、重复数据的清除数据集成：将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。数据变换：平滑、聚集、规范化、最小 最大规范化等数据归约：维归（删除不相关的属性（维））、数据压缩（PCA,LDA,SVD、小...
分类：
其他好文 时间：
2015-10-28 21:14:34
阅读次数：
546
数据预处理的主要任务如下：（1）数据清理：填写空缺值，平滑噪声数据，识别，删除孤立点，解决不一致性（2）数据集成：集成多个数据库，数据立方体，文件（3）数据变换：规范化（消除冗余属性）和聚集（数据汇总），将数据从一个较大的子空间投影到一个较小的子空间（4）数据归约：得到数据集的压缩表示，量小，但可以...
分类：
其他好文 时间：
2015-10-26 13:28:05
阅读次数：
261
第一步：选择要转换的CSV文件。第二步：选择以逗号分割，并创建项目。第三步：编辑，去掉特殊字符Edit Cells > Transform...第四步：导出文件，选择“Templating”菜单项。第五步：预览，并导出。
分类：
Web程序 时间：
2015-09-11 14:08:03
阅读次数：
217
