前面的文章介绍如何用pandas获取表格数据 https://www.cnblogs.com/hightech/p/12759895.html 但是对于不懂编程的小白，还是存在难度， 下面教你不用编程也能获取表格数据，不到1分钟就完全掌握。 目标网址：今日油价网http://youjia.chemc ...
分类：
Web程序 时间：
2020-06-14 14:24:02
阅读次数：
129
实验要求编写爬虫 要求1.使用threading函数（重点，实现多线程）；2.使用geturl模块（这个无所谓，用requests都可以） 一. import requests link='https://www.cnblogs.com/echoDetected/' headers={'User-A ...
分类：
编程语言 时间：
2020-06-02 20:35:30
阅读次数：
94
urllib 是一个 python 内置包，不需要额外安装即可使用，包里面包含了以下几个用来处理 url 的模块： urllib.request，用来打开和读取 url，意思就是可以用它来模拟发送请求，就像在浏览器里输入网址然后敲击回车一样，获取网页响应内容。 urllib.error，用来处理 u ...
分类：
Web程序 时间：
2020-05-31 15:46:54
阅读次数：
79
URL访问网站时的网络传输全过程，归纳起来就是： 首先要通过域名找到IP，如果缓存里没有就要请求DNS服务器；得到IP后开始于目的主机进行三次握手来建立TCP连接；连接建立后进行HTTP访问，传输并获取网页内容；传输完后与目的主机四次挥手来断开TCP连接。 整个过程基本分做下面几个部分： 1、域名解 ...
分类：
其他好文 时间：
2020-05-31 11:31:26
阅读次数：
66
scrapy中使用selenium+webdriver获取网页源码，爬取简书网站 由于简书中一些数据是通过js渲染出来的，所以通过正常的request请求返回的response源码中没有相关数据， 所以这里选择selenium+webdriver获取网页源码 1. 设置需要爬取的数据 import ...
分类：
Web程序 时间：
2020-05-30 09:16:08
阅读次数：
129
1.使用GET方式抓取数据，GET方法用于获取或者查询资源信息 #导入requests包 import requests #网址 url = 'http://www.cntour.cn/' #GET方式，获取网页数据 strhtml = requests.get(url) #strhtml是一个ur ...
分类：
编程语言 时间：
2020-05-26 00:49:54
阅读次数：
120
requests库数据挖掘 requests安装和使用 下载安装：pip install requests #requests模块 import requests #发送请求 content:以二进制的形式获取网页的内容 response=requests.get("http://www.baidu ...
分类：
编程语言 时间：
2020-05-25 15:28:31
阅读次数：
63
#代码设计：步骤一：获取网页信息。步骤二：对数据进行帅选。部署三对数据进行打印import requestsimport reimport pandas as pddef GetHtml(url): try: r=requests.get(url) r.raise_for_status() r.en ...
分类：
其他好文 时间：
2020-05-24 13:44:33
阅读次数：
74
一：网页可见区域宽高，不包括工具栏和滚动条（浏览器窗口可视区域大小） 1.对于IE9+、chrome、firefox、Opera、Safari： window.innerHeight浏览器窗口的内部高度； window.innerWidth浏览器窗口的内部宽度； 2.对于IE8.7.6.5: doc ...
分类：
Web程序 时间：
2020-05-23 16:31:04
阅读次数：
56
洪雨技术浅薄，不懂api，随意直接用模块的命令。 如果是利用超文本浏览器或者是互联网浏览器这种IE内核的组件。 我们用到的是vip模块的 程序_独立开起（）命令。 使用方法是在启动窗口创建完毕，公用.程序_独立开启（） 在窗口即将销毁命令中，加入 公用.程序_独立关闭 () 这种方法可以让每个浏览器 ...
分类：
编程语言 时间：
2020-05-11 13:42:51
阅读次数：
285
