数据库内容，随机编了一些数据，其中认为两个字段Name、Address1一致为重复记录，保留其中一条 找出，（ 如果没有第三行，会有什么问题呢？可将示例数据中 ID 为4的行，Name字段改为Tom测试一下） 删除 删除 ...
分类：
其他好文 时间：
2018-10-08 22:14:54
阅读次数：
218
为已有数据日期字段设置默认值为当前日期 ALTER TABLE tableabc ADD CONSTRAINT [DF_tableabc_column123] DEFAULT ((GETDATE() )) FOR column123 ...
分类：
其他好文 时间：
2018-09-20 21:24:57
阅读次数：
114
（一）问题： 最近在做Oracle数据清理，在对分区表进行数据清理时，采用的方法是drop partition，删除的过程中，没有遇到任何问题，大概过了10分钟，开发人员反馈部分分区表上的业务失败。具体错误为： ORA-01502错误：索引或这类索引的分区处于不可用状态（英文：ora-01502:i... ...
分类：
数据库 时间：
2018-07-07 15:51:46
阅读次数：
219
背景：mysql数据库中有个日志表记录高达800多万，影响了mysql的正常业务访问，现需要清理三个月之前的所有数据，大概600多万 方法一：传统delete from xxx，传统，普通，效率底下，高数据清理容易搞垮数据库。 方法二：truncate，这个操作会把表中所有的数据给清除掉。（如果是要 ...
分类：
数据库 时间：
2018-05-15 15:56:25
阅读次数：
265
可以使用percona-toolkit包中的pt-archiver工具来进行历史数据归档 1、清理线上过期数据。 2、清理过期数据，并把数据归档到本地归档表中，或者远端归档服务器。 3、两张表之间的数据不完全相同，希望合并。此时加上–ignore或–replace选项，可以轻松实现。 4、导出线上数 ...
分类：
其他好文 时间：
2018-05-11 17:16:38
阅读次数：
332
该篇解释数据清理。这些基础我觉得与数模竞赛过程都是差不多的。 如文中所说：The first step to data cleaning is removing unwanted observations from your dataset.（数据清理的第一步是从数据集中删除不需要的观察数据。） T ...
分类：
其他好文 时间：
2018-04-15 16:53:06
阅读次数：
222
各种数据分析技术的对象是数据源中的数据数据源中的数据可能不完整（如某些属性的值不确定或空缺）、含噪声和不一致（如同一个属性在不同表中的名称不同）、量纲不同如果直接在这些未经处理的数据上进行分析，结果不一定准确，效率也可能较低需要使用清理、集成、变换、归约等预处理方法改善数据质量，从而提高数据分析的效率与质量主要介绍数据清理、集成、变换、规约等预处理技术数据清理用于消除噪声、数据不一致及数据不完整噪
分类：
其他好文 时间：
2018-04-11 11:42:31
阅读次数：
185
数据说明 数据来源：http://archive.ics.uci.edu/ml/datasets/Bike+Sharing+Dataset 数据说明：仅使用day.csv文件 字段说明：Instant记录号 Dteday：日期 Season：季节 1=春天 2=夏天 3=秋天 4=冬天 yr：年份( ...
分类：
其他好文 时间：
2018-03-28 22:05:09
阅读次数：
413
DataFrame合并： merge运算是将一个或多个键将行链接起来。来看下面的这个例子： In [5]: df1=DataFrame({'key':['b','b','a','c','a','a','b'],'data1':range(7)}) In [6]: df2=DataFrame({'ke ...
分类：
编程语言 时间：
2018-03-01 11:48:13
阅读次数：
388
数据不正确（格式不正确，数据不准确，数据缺失）我们做什么都是徒劳。数据清洗时数据分析的第一步，也是最耗时的一步。 数据不正确（格式不正确，数据不准确，数据缺失）我们做什么都是徒劳。数据清洗时数据分析的第一步，也是最耗时的一步。 数据清洗很枯燥，但是随着数据清理技巧越来越熟练，就有越有可能从他人无从下 ...
分类：
其他好文 时间：
2018-01-06 14:16:21
阅读次数：
200
