标签：删除重复数据 exce flow 数据表 重复数 .com nbsp scrapy row
采集数据的时候，由于先期对页面结构的分析不完善，导致采漏了一部分数据。完善代码之后重新运行 Scrapy，又采集了一些重复的数据，搜了下删除重复数据的方法。
N.B. 删除数据表的重复数据时，请先备份数据表。
# 保留主键 ID 较小的那条记录 DELETE n1 FROM names n1, names n2 WHERE n1.id > n2.id AND n1.name = n2.name # 保留主键 ID 较大的那条记录 DELETE n1 FROM names n1, names n2 WHERE n1.id < n2.id AND n1.name = n2.name
参考链接：
标签：删除重复数据 exce flow 数据表 重复数 .com nbsp scrapy row
原文地址：http://www.cnblogs.com/imzhi/p/mysql-remove-duplicate-records.html
