爬虫学习 04.Python网络爬虫之requests模块（1） 引入 Requests 唯一的一个 非转基因 的 Python HTTP 库，人类可以安全享用。 警告 ：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。 ...
分类：
编程语言 时间：
2020-01-09 18:52:28
阅读次数：
102
Python网络爬虫学习路线： 1.Requests库入门 1.1Requests库的7个主要方法 1.2 爬取网页的通用代码框架 1.3 HTTP协议及Requests库方法 HTTP, Hypertext Transfer Protocol超文本传输协议 ， HTTP是一个基于“请求与响应”模式 ...
分类：
其他好文 时间：
2019-12-15 23:34:27
阅读次数：
95
编码格式的认识： 字符：各种文字和符号的统称 字符集：多个字符的集合 字符集包括：ASCII字符集，GB2312字符集，GB18030，Unicode字符集等 1个字符ASCII编码占1个字节，用Unicode编码占2个字节 UTF-8是Unicode的实习方式之一，是一种变长的编码方式，可以是1, ...
分类：
编程语言 时间：
2019-11-12 12:55:59
阅读次数：
126
Python爬虫学习难不难?大家都知道，Python是最容易上手的编程语言，如果具有一定基础的话，学习Python是非常容易的，同时Python适合零基础人员学习，更是初学者的首选。而爬虫是Python的一大应用领域，现在市场Python爬虫工程师需求量高，吸引了不少的学习者，那么学习Python爬虫难不难?何为Python爬虫?
分类：
编程语言 时间：
2019-11-05 18:49:58
阅读次数：
117
正则表达式+BeautifulSoup爬取网页可事半功倍。 就拿百度贴吧网址来练练手：https://tieba.baidu.com/index.html 1.find_all()：搜索当前节点的所有子节点，孙子节点。 下面例子是用find_all()匹配贴吧分类模块，href链接中带有“娱乐”两字 ...
分类：
其他好文 时间：
2019-11-03 14:54:59
阅读次数：
415
01.jupyter环境安装 02.Python网络爬虫第二弹《http和https协议》 03.Python网络爬虫第一弹《Python网络爬虫相关基础概念》 04.Python网络爬虫之requests模块（1） 02.Python网络爬虫第二弹《http和https协议》 03.Python网 ...
分类：
其他好文 时间：
2019-08-26 19:23:52
阅读次数：
77
出于学习的目的,然后就写了这个 下载地址 https://gitee.com/youlicc/a_simple_reptile 下图，效果就是这样... 总结分析 CreateRequest.cs这个类是我自己写的。 这个基础类是在github上找的，地址我忘了。使用理由：这份代码搭建了基类模型。（ ...
分类：
其他好文 时间：
2019-08-24 15:22:06
阅读次数：
79
恢复内容开始 requests库的7个主要方法 requests.request() 爬取网页的通用代码框架 连接有风险，异常处理很重要 robots协议 基本语法 #注释 *代表所有 / 代表根目录 user-agent: * Disallow: / 访问亚马逊网页商品 查看头部信息r.reque ...
分类：
编程语言 时间：
2019-08-21 00:20:22
阅读次数：
100
一、写在前面 之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常 ...
分类：
编程语言 时间：
2019-08-19 09:54:32
阅读次数：
118
一、requests的概述 requests模块是用于发送网络请求，返回响应数据。底层实现是urllib，而且简单易用，在python2、python3中通用，能够自动帮助我们解压(gzip压缩的等)网页内容。 二、requests的基本使用 1、基本使用： 安装requests模块： pip in ...
分类：
其他好文 时间：
2019-08-15 18:43:08
阅读次数：
91
