码迷,mamicode.com
首页 > 其他好文 > 详细

scrapy指定item输出项顺序到csv

时间:2017-10-09 16:44:00      阅读:177      评论:0      收藏:0      [点我收藏+]

标签:输出   tab   __init__   exp   svi   setting   init   set   self   

scrapy -o csv格式输出的时候,发现字段/item/Field的顺序不是在items.py或者在scrapy中指定的顺序,如果后续有继续读取csv文件的时候,因为不是按指定顺序排列,很可能字段会搞错。 本文描述如何在输出csv的时候指定顺序字段。

  1. 在scrapy的spiders同层目录,新建my_project_csv_item_exporter.py文件内容如下(文件名可改,目录定死)
1
2
3
4
5
6
7
8
9
10
11
from scrapy.conf import settings
from scrapy.contrib.exporter import CsvItemExporter
class MyProjectCsvItemExporter(CsvItemExporter):
def __init__(self, *args, **kwargs):
delimiter = settings.get(‘CSV_DELIMITER‘, ‘,‘)
kwargs[‘delimiter‘] = delimiter
fields_to_export = settings.get(‘FIELDS_TO_EXPORT‘, [])
if fields_to_export :
kwargs[‘fields_to_export‘] = fields_to_export
super(
MyProjectCsvItemExporter, self).__init__(*args, **kwargs)
  1. 在同层目录,settings.py文件新增如下内容(指定item,field顺序)
1
2
3
4
5
6
7
8
9
FEED_EXPORTERS = {
‘csv‘: ‘my_project.my_project_csv_item_exporter.MyProjectCsvItemExporter‘,
} #这里假设你的project名字为my_project
FIELDS_TO_EXPORT = [
‘id‘,
‘name‘,
‘email‘,
‘address‘
]
  1. 在同层目录,settings.py文件指定分隔符
1
CSV_DELIMITER = ‘\t‘

全部设定完后,执行scrapy crawl spider -o spider.csv的时候,字段就按顺序来了

原文地址:http://www.aisun.org/2017/10/python+scrapy+item/

scrapy指定item输出项顺序到csv

标签:输出   tab   __init__   exp   svi   setting   init   set   self   

原文地址:http://www.cnblogs.com/chuangshaogreat/p/7641445.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!