搜集了快一个月的资料，虽然不完全懂，但还是先慢慢写着吧，说不定就有思路了呢。 开源的最大好处是会让作者对脏乱臭的代码有羞耻感。 当一个做推荐系统的部门开始重视【数据清理，数据标柱，效果评测，数据统计，数据分析】这些所谓的脏活累活，这样的推荐系统才会有救。 求教GitHub的使用。 简单不...
分类：
编程语言 时间：
2015-04-25 22:23:27
阅读次数：
392
1.停止相关服务，避免写入数据servicezabbix_serverstopservicehttpdstop******************************************$sudo/etc/init.d/zabbix-serverstop$sudo/etc/init.d/apache2stop*********************************************2.执行备份数据库脚本shdbbackup.sh3.清空..
分类：
其他好文 时间：
2015-04-22 16:15:10
阅读次数：
117
wap端登陆成功后，就可以安心开始爬取数据了。我这次需要的数据是：（1）用户的近期1000条微博，需要：微博id，转发量，发布时间（2）某条微博的转发列表，需要：转发人，转发时间（3）某个用户的关注数，粉丝数，微博数，最近100条微博的平均转发量===========================...
分类：
其他好文 时间：
2015-04-18 19:02:37
阅读次数：
175
今天进行数据清理时发现报错ORA-26026，主要是把从交易库提取数据并插入到归档库中。检查一下发现是归档库的索引问题。当时为了提高插入速度，所以删除了归档库的索引，可能对主键索引产生了影响。解决方案很简单，重新重建了一下该表的主键索引，问题解决。sql语句：alter index 索引名称 reb...
分类：
数据库 时间：
2015-03-31 10:50:13
阅读次数：
349
数据库中的数据清理
问题描述：在我所使用的系统中，由于历史和各种原因，导致数据库中表里面记录的数据，是有问题的，有重复的和不完整的数据
解决方案：首先，由于这些数据的量还是挺大的，手工的清理肯定不行，
然后，我就想写SQL脚本来按照约定的规则进行更新，可以利用游标
来完成表中的记录的遍历，但是SQL是面向结构化的查询语言，不是面向过程的，所以虽然可以但是没有C和python这样的面向过程的...
分类：
数据库 时间：
2015-03-19 18:32:45
阅读次数：
230
数据预处理的目的：提高数据质量，数据质量的三要素：准确性、完整性、一致性。 数据预处理的任务： 数据清理 数据集成 数据规约 数据变换 数据清理——填充缺失的值、光滑噪声、识别离群点、纠正数据中的不一致 缺失值： 忽略元组 人工填写缺失值 使用一个全局常量 使用属性的中心度量 使用与给定元组属同一类...
分类：
其他好文 时间：
2015-03-12 00:57:10
阅读次数：
143
最近工作中，涉及到的一些解决方案，发现引入消息队列会更好更优雅地解决问题。业务场景：用户新装修的店铺发布后，需要相关系统做一些对应的工作：缓存系统做数据清理，通知依赖的第三方系统...当前解决方案：店铺发布系统异步编码实现相关逻辑；现实问题：1、采用第三方系统提供接口供店铺系统发送通知：店铺系统需要...
分类：
其他好文 时间：
2015-03-11 07:02:21
阅读次数：
506
本文目的 最近在使用Spark进行数据清理的相关工作，初次使用Spark时，遇到了一些挑（da）战（ken）。感觉需要记录点什么，才对得起自己。下面的内容主要是关于Spark核心—RDD的相关的使用经验和原理介绍，作为个人备忘，也希望对读者有用。 为什么选择Spark 原因如下 代码复用：使用Sca...
分类：
其他好文 时间：
2015-03-07 21:09:45
阅读次数：
281
SSIS Catalog Database 可以管理很多的包，并且查询每个包的执行状态都很方便。但是如果其中包含的包太多，而且包的执行频次很高， 所产生的日志就是一个灾难了。SSIS目录服务打开之后靠自带的作业“SSIS Server Maintenance Job”来清理包的执行 日志，清理的标准...
分类：
数据库 时间：
2015-03-04 12:30:06
阅读次数：
780
数据预处理章节，整理于《数据挖掘·概念与技术》第三章，如有错误，请指正，谢谢~1、概述 数据清理可以去除数据中的噪声，纠正不一致。数据集成将数据由多个数据源合并成一个一致的数据进行存储，如数据仓库。数据规约可以通过如聚集，删除冗余特征或聚类降低数据的规模。数据变换（如规约化）可以把数据压缩到较小的....
分类：
其他好文 时间：
2015-01-31 15:59:47
阅读次数：
238
