码迷,mamicode.com
首页 > 其他好文 > 详细

jdango+scrapy结合使用并爬取数据入库

时间:2019-06-20 17:00:50      阅读:130      评论:0      收藏:0      [点我收藏+]

标签:site   str   关闭   使用   proc   sel   setup   nbsp   tin   

 

1. 创建django项目,并编写models.py,启动django项目

 

2. 配置Django嵌入
  Django项目根目录下创建Scrapy项目(这是scrapy-djangoitem所需要的配置)
  配置Django嵌入,在Scrapy的settings.py中加入以下代码:

import os
import sys
sys.path.append(os.path.dirname(os.path.abspath(.)))
os.environ[DJANGO_SETTINGS_MODULE] = ‘子app.settings
# 手动初始化Django:
import django
django.setup()

 

3.编写爬虫

 

4.item.py中引入Django模型类

import scrapy
    
from scrapy_djangoitem import DjangoItem
from 子app import models
class TalksItem(DjangoItem):
    django_model = models.表名

 

5.pipelines.py中调用save()

class TalksPipeline(object):
    def process_item(self, item, spider):
        print(打开数据库)
        item.save() # 数据将会自动添加到指定的表
        print(关闭数据库)
        return item

 

6.启动爬虫:scrapy crawl 爬虫名

 

7.刷新admin后台,此时数据已经入库了!

 

开不开心!

jdango+scrapy结合使用并爬取数据入库

标签:site   str   关闭   使用   proc   sel   setup   nbsp   tin   

原文地址:https://www.cnblogs.com/kitshenqing/p/11059636.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!