scrapy爬虫出现 Missing scheme in request url: h 报错的解决方案 ...
分类：
Web程序 时间：
2018-12-25 23:42:53
阅读次数：
382
1、爬取网站美图爬取图片是最常见的爬虫入门项目，不复杂却能很好地熟悉Python语法、掌握爬虫思路。加python学习交流qun784758214各种Python新手项目资料包免费领取，不定时还有web、爬虫等技术的免费知识分享直播教学当然有两个点要注意：不要侵犯版权，要注意营养。思路流程第一步：获取网址的response，分页内容，解析后提取图集的地址。第二步：获取网址的response，图集分
分类：
编程语言 时间：
2018-12-01 17:00:24
阅读次数：
311
importrequests#模块导入的俩种方法frommultiprocessingimportPoolimportredefget(url):ret=requests.get(url)ifret.status_code==200:returnret.content.decode(‘gbk‘)defcall_back(arg):ret=com.finditer(arg)dict_lst=[]fo
分类：
其他好文 时间：
2018-11-26 00:08:02
阅读次数：
190
经过8个小时的摸索，终于决定写下此随笔！ 初学爬虫，准备爬取百度美女吧的图片，爬取图片之后发现打不开，上代码： 后来发现是writeImage()的参数跟函数体中调用的参数不一致导致的， 1 def writeImage(link): 2 """ 3 作用：将HTML内容写入到本地 4 html：服 ...
分类：
Web程序 时间：
2018-10-24 20:25:05
阅读次数：
230
之前开始学习scrapy,接触了AJax异步加载。一直没放到自己博客,趁现在不忙,也准备为下一个爬虫做知识储存,就分享给大家。 还是从爬取图片开始,先上图给大家看看成果,QAQ。 一、图片加载的方法 1.1:网页源码__javascript加载数据 1.2:F12审查元素:滑动滑块,图片开始不断加载 ...
分类：
Web程序 时间：
2018-10-23 21:04:36
阅读次数：
273
第一次爬取虎牙主播数据，有点小激动 1.共批量爬取的101个主播的，包括 头像 主播名字 房间号 房间链接 2.数据规整部分，需要将json数据加载到pandas的Dataframe，只显示的前15个主播的信息 3.数据绘图部分，有一个字体问题没解决，中文乱码，明日修正 ...
分类：
其他好文 时间：
2018-10-15 00:00:04
阅读次数：
461
打印后的结果为： 准备爬取:阳光下校花美女迷人桃花眼嘴http://img.7160.com/uploads/allimg/180913/13-1P913102541.jpghttp://img.7160.com/uploads/allimg/180913/13-1P913102541-50.jpg ...
分类：
其他好文 时间：
2018-09-27 12:04:18
阅读次数：
619
1、搜索结果爬取（未解析） 2、爬取图片 3、IP归属地查询 ...
分类：
其他好文 时间：
2018-08-10 01:24:46
阅读次数：
118
想在妹子生日送妹子一张用零食（或者食物类好看的图片）拼成的马赛克拼图，因此探索了一番= =。 首先需要一个软件来制作马赛克拼图，这里使用Foto-Mosaik-Edda（网上也有在线制作的网站，但是我觉得这个比较方便，而且也找到了一个汉化过的版本，地址为http://witmax.cn/foto-m ...
分类：
编程语言 时间：
2018-07-29 14:11:43
阅读次数：
325
直接上代码，先来个爬取豆瓣图片的，大致思路就是发送请求-得到响应数据-储存数据，原理的话可以先看看这个 https://www.cnblogs.com/sss4/p/7809821.html 再来个爬去标题类的 这个是下载小说的 （别人的代码） ...
分类：
编程语言 时间：
2018-07-15 23:16:18
阅读次数：
291
