Tornado是一个支持异步的Web框架，通过使用非阻塞I/O流，它可以支撑成千上万的开放连接，效率非常高，本节就来介绍一下它的安装方式。 1. 相关链接 GitHub：https://github.com/tornadoweb/tornado PyPI：https://pypi.python.or ...
分类：
编程语言 时间：
2018-09-11 16:14:07
阅读次数：
176
上一节中，我们了解了ChromeDriver的配置方法，配置完成之后便可以用Selenium驱动Chrome浏览器来做相应网页的抓取。 那么对于Firefox来说，也可以使用同样的方式完成Selenium的对接，这时需要安装另一个驱动GeckoDriver。 本节中，我们来介绍一下GeckoDriv ...
分类：
编程语言 时间：
2018-09-11 16:14:14
阅读次数：
229
在Python中，如果想要和MongoDB进行交互，就需要借助于PyMongo库，这里就来了解一下它的安装方法。 1. 相关链接 GitHub：https://github.com/mongodb/mongo-python-driver 官方文档：https://api.mongodb.com/py ...
分类：
编程语言 时间：
2018-09-11 16:14:45
阅读次数：
215
PhantomJS是一个无界面的、可脚本编程的WebKit浏览器引擎，它原生支持多种Web标准：DOM操作、CSS选择器、JSON、Canvas以及SVG。 Selenium支持PhantomJS，这样在运行的时候就不会再弹出一个浏览器了。而且PhantomJS的运行效率也很高，还支持各种参数配置， ...
分类：
编程语言 时间：
2018-09-11 16:15:19
阅读次数：
174
Scrapy是一个十分强大的爬虫框架，依赖的库比较多，至少需要依赖的库有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平台环境下，它所依赖的库也各不相同，所以在安装之前，最好确保把一些基本库安装好。本节就来介绍Scrapy在不同平台的安装方法。 1. 相关链接 官 ...
分类：
编程语言 时间：
2018-09-11 16:16:09
阅读次数：
254
Flask是一个轻量级的Web服务程序，它简单、易用、灵活，这里主要用来做一些API服务。 1. 相关链接 GitHub：https://github.com/pallets/flask 官方文档：http://flask.pocoo.org 中文文档：http://docs.jinkan.org/ ...
分类：
编程语言 时间：
2018-09-11 16:16:36
阅读次数：
189
前面我们成功安装好了Selenium库，但是它是一个自动化测试工具，需要浏览器来配合使用，本节中我们就介绍一下Chrome浏览器及ChromeDriver驱动的配置。 首先，下载Chrome浏览器，方法有很多，在此不再赘述。 随后安装ChromeDriver。因为只有安装ChromeDriver，才 ...
分类：
编程语言 时间：
2018-09-11 16:18:23
阅读次数：
179
Beautiful Soup是Python的一个HTML或XML的解析库，我们可以用它来方便地从网页中提取数据。它拥有强大的API和多样的解析方式，本节就来了解下它的安装方式。 1. 相关链接 官方文档：https://www.crummy.com/software/BeautifulSoup/bs ...
分类：
编程语言 时间：
2018-09-11 16:18:40
阅读次数：
183
Redis是一个基于内存的高效的非关系型数据库，本节中我们来了解一下它在各个平台的安装过程。 1. 相关链接 官方网站：https://redis.io 官方文档：https://redis.io/documentation 中文官网：http://www.redis.cn GitHub：https ...
分类：
编程语言 时间：
2018-09-11 16:19:47
阅读次数：
259
Scrapy-Redis是Scrapy的分布式扩展模块，有了它，我们就可以方便地实现Scrapy分布式爬虫的搭建。本节中，我们将介绍Scrapy-Redis的安装方式。 相关链接 GitHub：https://github.com/rmax/scrapy-redis PyPI：https://pyp ...
分类：
编程语言 时间：
2018-09-11 16:20:53
阅读次数：
162
对于Redis来说，我们要使用redis-py库来与其交互，这里就来介绍一下它的安装方法。 1. 相关链接 GitHub：https://github.com/andymccurdy/redis-py 官方文档：https://redis-py.readthedocs.io/ 2. pip安装 这里 ...
分类：
编程语言 时间：
2018-09-11 16:22:18
阅读次数：
214
1. 基本数据类型补充 s=" ".join(lst) 把列表中的每一项用" "拼接起来,把列表转化成字符串 lst1=s1.split() 用()中的内容切割列表,把字符串转化成列表 2. 关于删除 在循环迭代的过程中不能删除 删除的方法: 创建新列表,把想要删除的内容放在列表中,循环新列表,删除 ...
分类：
编程语言 时间：
2018-09-11 16:22:33
阅读次数：
113
今天学习遇见排序题， 请教刘阳好基友，给讲讲 1. 首先看数据， 是什么样的 2. 怎么回事 填空的位置， 例如P1Q6A代表第一个空， 以此类推... 那P1Q6A下面的1代表A， P1Q6B下面的3代表c，第一行的数据则代表A, C, B, E, D 分配权重， 5， 4， 3， 2， 1，-- ...
分类：
编程语言 时间：
2018-09-11 16:22:58
阅读次数：
1109
JAVA环境变量设置： 执行如下命令使环境变量生效： source /etc/profile测试配置是否成功：java –version ...
分类：
编程语言 时间：
2018-09-11 16:23:07
阅读次数：
144
之前介绍的Requests库是一个阻塞式HTTP请求库，当我们发出一个请求后，程序会一直等待服务器响应，直到得到响应后，程序才会进行下一步处理。其实，这个过程比较耗费资源。如果程序可以在这个等待过程中做一些其他的事情，如进行请求的调度、响应的处理等，那么爬取效率一定会大大提高。 aiohttp就是这 ...
分类：
编程语言 时间：
2018-09-11 16:23:15
阅读次数：
159
RedisDump是一个用于Redis数据导入/导出的工具，是基于Ruby实现的，所以要安装RedisDump，需要先安装Ruby。 1. 相关链接 GitHub：https://github.com/delano/redis-dump 官方文档：http://delanotes.com/redis ...
分类：
编程语言 时间：
2018-09-11 16:23:22
阅读次数：
148
pyquery同样是一个强大的网页解析工具，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。本节中，我们就来了解一下它的安装方式。 1. 相关链接 GitHub：https://github.com/gawel/pyquery PyPI：https://pypi. ...
分类：
编程语言 时间：
2018-09-11 16:24:06
阅读次数：
172
1.什么是编程语言？ 语言就是一个事物与另外一个事物沟通的介质/表达方式 编程语言即程序员与计算机沟通的介质 2.什么是编程？为何要编程？ 编程就是程序员用计算机所能理解的表达方式（编程语言）来将自己的思维逻辑写下来，编程的结果就是一堆文件，这些文件称之为软件/程序 3.编程的目的： 就是人想要奴役 ...
分类：
编程语言 时间：
2018-09-11 16:24:32
阅读次数：
165
今日内容如下: 一丶集合: 集合是无序的，不重复的数据集合，它里面的元素是可哈希的(不可变类型)，但是集合本身是不可哈希（所以集合做不了字典的键）的。以下是集合最重要的两点： 去重，把一个列表变成集合，就自动去重了。 关系测试，测试两组数据之前的交集、差集、并集等关系。 1，集合的创建。 2，集合的 ...
分类：
编程语言 时间：
2018-09-11 16:24:40
阅读次数：
159
Selenium是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些JavaScript渲染的页面来说，这种抓取方式非常有效。下面我们来看看Selenium的安装过程。 1. 相关链接 官方网站：http://www.seleniumhq.org GitHub： ...
分类：
编程语言 时间：
2018-09-11 16:27:11
阅读次数：
224
