码迷,mamicode.com
首页 > 其他好文 > 详细

scrapy 项目流程

时间:2018-05-17 13:39:17      阅读:160      评论:0      收藏:0      [点我收藏+]

标签:art   imp   request   awl   app   nbsp   article   ##   middle   

1.创建虚拟环境

virtualenv scrapyEnv

pip install scrapy requests pywin32 selenium

  

2.创建scrapy项目

scrapy startproject ArticleSpider  

3.创建spider

scrapy genspider -t crawl spidername 域名

scrapy genspider spidername 域名

 

4.脚本运行spider

在scrapy项目主目录下新建main.py文件写入下述代码,既可通过脚本运行。

from scrapy.cmdline import execute

import sys
import os

# sys.path.append("C:\Users\CZN\PycharmProjects\ArticleSpider")可行
# print(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(os.getcwd())#获得ArticleSpider项目所在路径

# execute(["scrapy","crawl","jobbole"])##scrapy crawl jobbole

  

5.编写spider、item、pipeline、middlewares

 

scrapy 项目流程

标签:art   imp   request   awl   app   nbsp   article   ##   middle   

原文地址:https://www.cnblogs.com/zenan/p/9050341.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!