看了好几本大冰的书，感觉对自己的思维有不少的影响。想看看其他读者的评论。便想从当当下手抓取他们评论做个词云。想着网页版说不定有麻烦的反爬，干脆从手机客户端下手好了。果其不然，找到一个书评的api。发送请求就有详情的json返回，简直不要太方便... 要是对手机客户端做信息爬取，建议安装一个手机模拟器 ...
1、 # -*- coding: utf-8 -*-"""Created on Thu Apr 25 10:30:26 2019 @author: Office"""import urllib.request #需要爬取的网站url = "http://www.baidu.com/" #respon ...
分类：
编程语言 时间：
2019-10-14 00:55:27
阅读次数：
106
使用协程构建高性能爬虫 一、简介 在执行一些 IO 密集型任务的时候，程序常常会因为等待 IO 而阻塞。比如在网络爬虫中，如果我们使用 requests 库来进行请求的话，如果网站响应速度过慢，程序一直在等待网站响应，最后导致其爬取效率是非常非常低的。为了解决这类问题，本文就来探讨一下 Python ...
分类：
其他好文 时间：
2019-10-13 21:05:37
阅读次数：
144
上一节，学习了Ajax，Ajax 其实也是JS 动态渲染的页面的一种形式，通过直接分析Ajax，仍然可以借助requests 或者 urllib 来实现数据爬取。 但是JS动态渲染的页面不止Ajax 一种；还有就是像淘宝这种页面，即使是Ajax 获取的数据，但是其Ajax 接口含有很多加密参数，我们 ...
分类：
编程语言 时间：
2019-10-13 17:03:10
阅读次数：
791
1.scrapy shell [要爬取的网址]他可以很直观的反馈给你要定位的元素是否可以定位到2.打开后然后再把：response.xpath("//*[@id=\"ml_001\"]/table/tbody/tr[1]/td[1]/a/text()").extract()；语句写入，看如果可以返回 ...
分类：
其他好文 时间：
2019-10-13 16:55:46
阅读次数：
95
如何让爬虫对你的网站情有独钟 做好seo的朋友都知道收录量对于一个网站的重要程度，没有收录你有再好的文章也无济于事，正如如今的一句话：互联网行业是酒香也怕巷子深。 网站收录量是与百度蜘蛛爬取网站的频率相关的，所以我们可以判断大概率提升爬虫的抓取量就可以提升网站的收录量。 那么，如何让爬虫对你的网站情 ...
分类：
Web程序 时间：
2019-10-13 15:22:14
阅读次数：
161
前言：做个小小的数据分析平台，检验下学习成果。 使用的技术知识： 数据爬取：puppeteer; 数据存储：mongodb; 路由控制：koa; 渲染引擎：ejs; 渲染框架：bootstrap。 设计图：(手画的，丑了点) 待完善！！！ ...
分类：
其他好文 时间：
2019-10-13 15:17:45
阅读次数：
88
我的工程实践课题是设计面向特定对象的搜索引擎。我在Github上找到了一套爬取今日头条、网易、腾讯新闻建立的简单搜索引擎。 目录结构、命名： 其目录如下图所示： 从目录结构来看，data主要存放数据库文件，web存放前端的一些内容。命名也算规范。 代码规范、风格： 截取其中一部分代码如下图： 可以看 ...
分类：
其他好文 时间：
2019-10-13 13:24:37
阅读次数：
114
日常生活中有一些常见的疾病，这个可以通过百度等搜索到，但是如果你要完成一款app或者小程序、网站之类的该如何来获取常见疾病的信息呢？首先想到的是通过爬虫爬取数据，然后整理搜索....其实这种方法还是太曲折了，网上有很多免费的api接口，现在已nodejs为例来看如何获取数据： 再以python为例， ...
分类：
Web程序 时间：
2019-10-13 11:13:09
阅读次数：
182
爬虫设计 爬虫基本包含 爬虫调度器，URL管理器（已爬与待爬），HTML下载器（获取网络信息），HTML解析器，数据存储器五个部分。 0x1 网站调研 了解网站基本特点，设计相应的爬取方案 探测反爬措施，设计对应反反爬方式 查看网站的robot.txt与sitemap，了解网站限制内容 : 指定对哪 ...
分类：
其他好文 时间：
2019-10-12 22:35:11
阅读次数：
98
