标签:一个 nbsp 爬虫 数据信息 本地 bsp 抓取 基本 提取
写的第一个爬虫,基本思路:
定义 pageMax 方法 获取整体数据信息,最大页数
定义 request的方法获取单页数据
定义parse方法分析单页数据,提取items,存储在生成器yield中
定义search方法循环获取数据,保存在本地
另外,通过history文件记录抓取历史
saveImg对文件是否已存在做判断
标签:一个 nbsp 爬虫 数据信息 本地 bsp 抓取 基本 提取
原文地址:https://www.cnblogs.com/huhume/p/9339600.html