高性能异步爬虫目的：在爬虫中使用异步实现高性能的数据爬取操作异步爬虫的方式： - 多线程、多进程（不建议）： 好处：可以为相关阻塞的操作单独开启多线程或进程，阻塞操作就可以异步执行; 弊端：无法无限制的开启多线程或多进程。 - 线程池、进程池（适当的使用）： 好处：我们可以降低系统对进程或线程创建和 ...
分类：
编程语言 时间：
2020-08-31 13:23:39
阅读次数：
70
学习爬虫，其乐无穷！今天给大家带来一个爬虫案例，爬取糗事百科搞笑内涵段子。爬取糗事百科段?，假设??的 URL 是：http://www.qiushibaike.com/8hr/page/1 一、爬取要求： 使?requests 获取??信息，?XPath / re 做数据提取。 获取每个帖??的 ...
分类：
编程语言 时间：
2020-08-31 13:21:14
阅读次数：
69
1. .NET和C#有什么区别 答：.NET一般指 .NET FrameWork框架，它是一种平台，一种技术。 C#是一种编程语言，可以基于.NET平台的应用。 2．一列数的规则如下: 1、1、2、3、5、8、13、21、34...... 求第30位数是多少，用递归算法实现。答：public cla ...
直接进入正题，对于使用robotframework编写自动化用例时，经常会碰到各种下拉框，下面详情说明各种下拉框的操作。 div格式的下拉框 源码如下 <ul class="select2-results" xpath="1"> <li class="select2-results-dept-0 s ...
分类：
其他好文 时间：
2020-08-05 14:24:52
阅读次数：
75
xpath简介 xpath是一门可以在xml文档中查找信息的语言 /: 从根节点选取 //: 不管位置，直接找 /@href 属性名 /text() xpath选择器操作 doc=''' <html> <head> <base href='http://example.com/' /> <title ...
分类：
其他好文 时间：
2020-08-05 00:06:37
阅读次数：
77
前言 在完成爬虫任务的时候，我们总是会遇到用户账号登陆的问题，如果自己手动登陆的话，那么工作量就很大了，如何解决登陆问题呢？ 今天老师带领大家使用selenium完成淘宝账号登陆 本篇文章知识点： selenium自动化测试框架的基本使用 通过xpath寻找相应组件并自动化操作 环境介绍： pyth ...
分类：
编程语言 时间：
2020-08-01 21:30:27
阅读次数：
104
from selenium import webdriver import time driver=webdriver.Chrome() driver.get("http://www.douban.com/") driver.find_element_by_xpath('//*[@id="anony ...
分类：
Web程序 时间：
2020-07-30 01:19:09
阅读次数：
86
# 定位到table，并获得table中所有得tr元素 menu_table = self.driver.find_element_by_xpath("//div[@class='datagrid-view1']/div[2]/div/table") rows = menu_table.find_e ...
分类：
编程语言 时间：
2020-07-28 17:25:27
阅读次数：
137
1 url="https://www.baidu.com" 2 driver = webdriver.Chrome() 3 driver.get(url) 4 xpath="" #Select元素的Xpath串 5 ele_sel = driver.find_element_by_xpath(xpa ...
分类：
其他好文 时间：
2020-07-28 16:59:46
阅读次数：
162
XPath XPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。 1. XPath 概览 XPath 的选择 ...
分类：
编程语言 时间：
2020-07-28 14:34:13
阅读次数：
83
