本文详细的介绍了python的BeautifulSoup库基础用法
分类：
其他好文 时间：
2019-02-26 19:38:14
阅读次数：
173
前言 Python非常适合用来开发网页爬虫，理由如下： 1、抓取网页本身的接口 相比与其他静态编程语言，如java，c ，c++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是 ...
分类：
编程语言 时间：
2019-01-26 15:29:45
阅读次数：
211
Python入门学习指南 最近开始整理python的资料，博主建立了一个qq群，希望给大家提供一个交流的同平台: "78486745" ,欢迎大家加入共同交流学习。 对于初学者，入门至关重要，这关系到初学者是从入门到精通还是从入门到放弃。以下是结合Python的学习经验，整理出的一条学习路径，主要有 ...
分类：
编程语言 时间：
2019-01-25 22:44:25
阅读次数：
193
Robots协议 指定一个robots.txt文件,告诉爬虫引擎怎么爬取 https://www.taobao.com/robots.txt 其他爬虫,不允许爬取 User-Agent: * DisalloW: / 这是一个君子协定,'爬亦有道' 这个协议为了让搜索引擎更有效搜索自己的内容 ...
分类：
其他好文 时间：
2019-01-21 21:07:24
阅读次数：
161
爬虫 1.基础知识：网站基本原理，html,python,多进程/多线程/协程等（必学） 2.HTML基础、网络请求模块：requests(必学)，urllib(可以了解) 3.需要了解一些常见的反爬策略以及对应的解决方案：常见的有IP频率限制，User-Agent、Referer、Origen验证 ...
分类：
编程语言 时间：
2019-01-20 18:49:04
阅读次数：
180
1、urllib和urllib2的区别： 1、获取baidu的网页源代码 urllib是python内置的http请求库。 urllib.request:请求模块。 ...
分类：
编程语言 时间：
2019-01-12 18:31:11
阅读次数：
169
知识预览 beautifulsoup的简单实用 beautifulsoup的遍历文档树 beautifulsoup的搜索文档树 beautifulsoup的css选择器 beautifulsoup的简单使用 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。 ...
分类：
其他好文 时间：
2019-01-03 22:32:32
阅读次数：
230
最近在看爬虫方面的知识，看到崔庆才所著的《Python3网络爬虫开发实战》一书讲的比较系统，果断入手学习。下面根据书中的内容，简单总结一下爬虫的基础知识，并且实际练习一下。详细内容请见：https://cuiqingcai.com/5465.html（作者已把书的前几章内容对外公开）。 在写爬虫程序 ...
分类：
其他好文 时间：
2019-01-01 16:05:47
阅读次数：
204
爬虫 基础知识+requests库 [TOC] 关于html的知识，可以到w3school中进行了解学习。http://www.w3school.com.cn/html/index.asp，水平有限，这里不多提及。 1. 状态返回码 标志这这一次的请求状态，成功或失败，失败原因大概是什么 200：请 ...
分类：
其他好文 时间：
2018-12-29 11:57:23
阅读次数：
256
查看网页请求 以chrome浏览器为例，在网页上点击鼠标右键，检查（或者直接F12），选择network，刷新页面，选择ALL下面的第一个链接，这样就可以看到网页的各种请求信息。 请求头（Request Headers）信息详解： Accept: text/html,image/*(浏览器可以接收的 ...
分类：
其他好文 时间：
2018-12-03 22:54:42
阅读次数：
197
