scrapy

标签：utf-8   文本   tin   orm   tor   scrapy   数据   lin   htm   

使用 xpath 选择网页所使用的标签

 request传递数据 

html response 

 formrequest  使用  登录界面   

内容存储为json lines 文件  

   setting 文件设置实现   保存在json 文件中

LOG_FORMAT  日志的格式  

LOG_DATEDORMAT  日志日期的格式

class 

scrapy.statscollectors.MemortStatsCollector

用来获取  内存的使用情况  

可以使用文本文件

csv文件 json 文件  jsonlines文件  数据库文件 云存储

创建 scrapy  文件  命令是  scrapy startproject collectips

每一行都要进行  “#-*-coding： utf-8 -*-  进行注释

scrapy

标签：utf-8   文本   tin   orm   tor   scrapy   数据   lin   htm   

原文地址：https://www.cnblogs.com/soyadios/p/13093634.html