一、创建爬虫项目 1. 创建爬虫项目 Scrapy startproject myproject (爬虫项目名) 2. myproject项目文件夹中包含： 1. 同名（myproject）文件夹 2. cfg配置文件 （指定项目文件--myproject，指定项目文件的配置文件myspider文件 ...
分类：
其他好文 时间：
2020-06-17 20:27:09
阅读次数：
60
我们在爬取网站的时候，经常会遇到各种各样类似加密的情形，比如：
某个网站的 URL 带有一些看不懂的长串加密参数，想要抓取就必须要懂得这些参数是怎么构造的，否则我们连完整的 URL 都构造不出来，更不用说爬取了。
分析某个网站的 Ajax 接口的时候，可以看到接口的一些参数也是加密的，或者 Req... ...
分类：
编程语言 时间：
2020-06-17 19:45:10
阅读次数：
49
import re, requests, json, os, time from io import BytesIO headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, l ...
分类：
Web程序 时间：
2020-06-16 23:15:52
阅读次数：
91
1、引入 为什么要学习爬虫，学习爬虫能够为我们以后的发展带来那些好处？其实学习爬虫的原因和为我们以后发展带来的好处都是显而易见的 我们都知道，当前我们所处的时代是大数据的时代，在大数据时代，要进行数据分析，首先要有数据源，而学习爬虫，可以让我们获取更多的数据源，并且这些数据源可以按我们的目的进行采集 ...
分类：
编程语言 时间：
2020-06-16 20:40:45
阅读次数：
77
简述：爬取整个网站级别等需求复杂的爬虫，可以使用Scrapy框架。并发性好，速度快。 构成： 5+2结构 1. Engine模块 作用：1. 控制所有模块（2,3,4,5,a,b）之间的数据流 2. 根据条件来触发事件 a. Downloader Middleware(Downloader模块和en ...
分类：
其他好文 时间：
2020-06-16 20:14:06
阅读次数：
56
问题描述：使用selenum爬取苏宁易购时，搜索手机时，在浏览器中右键检查都存在的信息，比如价格等信息，在爬虫中解析页面时解析不到数据 问题分析： 苏宁搜索手机加载页面时使用的是ajax加载的信息 在向下滑动时，也在实时加载信息， 当访问页面时，不会加载全部的信息，随着页面向下滚动，会持续发送aja ...
分类：
编程语言 时间：
2020-06-16 20:04:38
阅读次数：
65
在猪师的手把手教导下体验了下爬虫， 首先是进入anaconda官网，选择一个版本下载 安装时候，记住要勾选带path的选项。 避免python版本混乱 然后初试request跟re模块的用法，直接import即可， 爬取百度，但是出现乱码 把.text改为.content.decode("utf-8 ...
分类：
其他好文 时间：
2020-06-16 00:49:46
阅读次数：
48
爬取数据时，有时候会出现无法通过正常的requests请求获取网页内容，导致数据无法抓取到，遇到这种情况时，可以换种思路去爬取数据，使用PhantomJS，即爬虫终极解决方案去获取页面元素。 #!/usr/local/bin/python3.7 from selenium import webdri ...
分类：
编程语言 时间：
2020-06-14 20:53:53
阅读次数：
155
声明： 1）仅作为个人学习，如有冒犯，告知速删！ 2）不想误导，如有错误，不吝指教！ 目标： 1. 爬取拉钩网中的关于编程语言的 1）薪资，2）城市范围，3）工作年限，4）学历要求; 2 .将四部分保存到mysql中; 3.对四部分进行数据可视化; 4.最后通过pyecharts+bootstrap ...
分类：
其他好文 时间：
2020-06-14 18:21:41
阅读次数：
60
1.手写数字数据集 from sklearn.datasets import load_digits digits = load_digits() 2.图片数据预处理 x：归一化MinMaxScaler() y：独热编码OneHotEncoder()或to_categorical 张量结构 训练集测 ...
分类：
其他好文 时间：
2020-06-14 16:33:10
阅读次数：
62
