注意：使用前要装selenium第三方的库才可以使用 版本：python3 from bs4 import BeautifulSoup from urllib import request # 要请求的网络地址 url = 'https://www.hao123.com/' # 请求网络地址得到ht ...
分类：
编程语言 时间：
2020-05-07 23:09:21
阅读次数：
90
[TOC] selenium : 安装： 百度： js 加载： Selenium支持非常多的浏览器，也支持无界面浏览器PhantomJS。 元素定位： 注意： 浏览器模拟执行: 获取页面源码数据: 执行js: PhantomJS : 谷歌的无头浏览器: 前进后退： 动作链： cookie 处理： 异 ...
分类：
其他好文 时间：
2020-04-28 17:01:46
阅读次数：
63
目标：拷贝贴吧前几页HTML并保存到本地.html文件中 步骤： 1. 创建动态可变化的url,用来循环访问不同页面。（a. args={'key': 'value'}， 来自定义url中的动态参数；b. 使用urllib.parse下的urlencode模块来对动态参数进行转码,防止中文报错） 2 ...
分类：
其他好文 时间：
2020-04-27 11:40:04
阅读次数：
74
从零开始学Python 3（爬虫） 一个例子: 获取网页的方法 构造一个向服务器请求资源的Request对象,返回一个包含服务器资源的Response 对象 requests的完整方法 url : 逆获取页面的url链接 params :url中的额外参数,字典或字节流格式，可选 kwargs : ...
分类：
编程语言 时间：
2020-04-21 15:12:41
阅读次数：
79
一、网络爬虫设计方案 1、爬虫名称：百度汽车热搜 2、内容：爬取百度不同汽车的热搜指数 3、概述：首先查找源代码，分析请求方式和url地址，再使用requests模块获取网页源代码，再使用BeautifulSoup解析得到所需要的数据，然后使用matplotlib实现数据可视化分析，最后进行小结。 ...
分类：
其他好文 时间：
2020-04-19 16:24:21
阅读次数：
126
客服端-服务器模式 TCP/UDP telnet下载网页 telnet获取网页过程 步骤1： telnet www.baidu.com 80（设置目标服务器， 端口号） 步骤2： GET /index.html HTTP/1.1 Host: www.baidu.com 步骤3：然后连续按两下ente ...
分类：
Web程序 时间：
2020-04-16 19:24:12
阅读次数：
77
聚焦爬虫的流程 得到url_list即需要爬取的url地址， 发起请求，返回响应内容， 如果响应内容中还有你需要爬取的url再添加到url_list中， 再次发起请求，直到没有url或者不需要爬取的url， 提取数据，提取需要的数据， 最后一步，把数据存入数据库 requests模块 作用：发起请求 ...
分类：
其他好文 时间：
2020-04-12 18:22:17
阅读次数：
52
C# 根据鼠标坐标取网页内成员坐标.ie 有时候你需要后台获取ie浏览器 鼠标所在位置的元素坐标，然而你使用屏幕坐标是不可行的 所以我们需要把坐标转换成浏览器内坐标 然后再通过elementFromPoint获取网页成员。 private void tmrWatcher_Tick(object se ...
我们在开发中，往往要得到网页中某个元素的位置，并且点击它。要模拟一次鼠标点击并不难，只要调用一个API就行了，关键就是怎么样得到这个元素的位置，还有判断是否要滚动滚动条，要滚动多少行能让元素显示出来。当然我们可以动态改变它的CSS，让它在特定的位置显示出来，但这个方法只对比较简单的网页有效。 那我们 ...
通过前面的文章，我们已经知道了如何获取网页和下载文件，但是前面我们获取的网页都是未经处理的，冗余的信息太多，无法进行分析和利用 这一节我们就来学习怎么从网页中筛选自己需要的信息，顺便给大家推荐一个资源很全的python学习免非解答.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，这里有资深程 ...
分类：
编程语言 时间：
2020-03-23 15:10:27
阅读次数：
118
