爬虫——GET请求和POST请求 urllib.parse.urlencode()和urllib.parse.unquote() 编码工作使用urllib.parse的urlencode()函数，帮我们将key:value这样的键值对转换成"key=value"这样的字符串，解码工作可以使用urll ...
分类：
编程语言 时间：
2020-06-02 18:33:04
阅读次数：
95
如何获取一个页面内所有URL链接？在Python中可以使用urllib对网页进行爬取，然后利用Beautiful Soup对爬取的页面进行解析，提取出所有的URL。 什么是Beautiful Soup？ Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等 ...
分类：
编程语言 时间：
2020-06-02 13:14:23
阅读次数：
134
JSON和JSONPath JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。注意：光理论是不够的。这里顺便免费送大家一套2020 ...
分类：
编程语言 时间：
2020-06-01 13:28:40
阅读次数：
73
浏览器打开网页的过程就是爬虫获取数据的过程，两者是一样一样的。浏览器渲染的网页是丰富多彩的数据集合，而爬虫得到的是网页的源代码htm有时候，我们不能在网页的html代码里面找到想要的数据，但是浏览器打开的网页上面却有这些数据。这就是浏览器通过ajax技术异步加载（偷偷下载）了这些数据。 大家禁不住要 ...
分类：
编程语言 时间：
2020-06-01 12:12:39
阅读次数：
100
Python爬虫总结 总的来说，Python爬虫所做的事情分为两个部分，1：将网页的内容全部抓取下来，2：对抓取到的内容和进行解析，得到我们需要的信息。 目前公认比较好用的爬虫框架为Scrapy，而且直接使用框架比自己使用requests、 beautifulsoup、 re包编写爬虫更加方便简单。 ...
分类：
其他好文 时间：
2020-05-30 11:03:29
阅读次数：
81
先详细的整理一下Python中的正则表达式的相关内容。正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样，是必不可少的神兵利器。 一、 正则表达式基础 1.1.概念介绍 正则表达式是用于处理字符串的强大工具，它并不是Python的一部分。 其他编程语言中也有正则表达式的概念，区别只在 ...
分类：
编程语言 时间：
2020-05-28 16:11:41
阅读次数：
86
之前有些无聊(呆在家里实在玩的腻了)，然后就去B站看了一些python爬虫视频，没有进行基础的理论学习，也就是直接开始实战，感觉跟背公式一样的进行爬虫，也算行吧，至少还能爬一些东西，hhh。我今天来分享一个我的爬虫代码。 正文 话不多说，直接上完整代码 ps：这个代码有些问题 每次我爬到fate的图 ...
分类：
编程语言 时间：
2020-05-26 12:09:48
阅读次数：
98
1.使用GET方式抓取数据，GET方法用于获取或者查询资源信息 #导入requests包 import requests #网址 url = 'http://www.cntour.cn/' #GET方式，获取网页数据 strhtml = requests.get(url) #strhtml是一个ur ...
分类：
编程语言 时间：
2020-05-26 00:49:54
阅读次数：
120
requests库数据挖掘 requests安装和使用 下载安装：pip install requests #requests模块 import requests #发送请求 content:以二进制的形式获取网页的内容 response=requests.get("http://www.baidu ...
分类：
编程语言 时间：
2020-05-25 15:28:31
阅读次数：
63
requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多 因为是第三方库，所以使用前需要cmd安装 找到python安装路径中的Scripts的路径 C:\Users\Administrator\AppData\Local\Programs\Python\Python ...
分类：
编程语言 时间：
2020-05-24 16:57:29
阅读次数：
65
