## 前言可能对于绝大多数的同学，或者比如我来说，爬虫就是模拟Http请求去获取网页上想获取的内容，这当然是爬虫最最基本的原理描述。但是对于一个可以平稳运行、持续运行的爬虫来说，他的原理可以这样描述：现有一个种子站点，通过对种子站点的爬虫，获取到种子站点的a链接，将这时获取的url先进行比对是否为已... ...
分类：
其他好文 时间：
2018-06-22 17:37:50
阅读次数：
133
我此次利用Python爬取电影天堂包含的源码非常清晰，所以说零基础的Python新手也能够轻松学会，真的一点都不过分。 先看我们的部分代码与爬取到的结果： 爬取到的电影资源：（可以获取视频教程） 步骤： 1、 首先导入需要的模块 2、 获取网页信息、解析结果 3、存储结果 3、编写主函数 4、运行源 ...
分类：
编程语言 时间：
2018-06-22 01:03:54
阅读次数：
201
自动化测试工具，支持多种浏览器，在爬虫中主要用来解决JavaSript渲染的问题。 (驱动浏览器，发送一些指令，让浏览器完成一些动作) requests urllib这些库无法正常获取网页内容时，这些网页可能是后来javascript渲染过的，用selenium可以完成渲染，获取到网页渲染完后的源代 ...
分类：
其他好文 时间：
2018-06-16 18:41:09
阅读次数：
175
之前在《如何开始写你的第一个python脚本——简单爬虫入门！》中给大家分享了一下写一个爬虫脚本的基本步骤，今天继续分享给大家在初期遇到的一个很烦人的问题——反爬及处理办法！ 我们的工具及库为：python3.6、pycharm、requests库 基本步骤：获取网页源代码——匹配需要的内容——提取 ...
分类：
编程语言 时间：
2018-06-15 20:53:21
阅读次数：
184
爬虫是什么？爬虫其实就是获取网页的内容经过解析来获得有用数据并将数据存储到数据库中的程序。 基本步骤： 1.获取网页的内容，通过构造请求给服务器端，让服务器端认为是真正的浏览器在请求，于是返回响应。python有很多请求的库，像urllib，requests库等，个人比较喜欢requests库，很容 ...
分类：
编程语言 时间：
2018-06-15 00:01:25
阅读次数：
202
selenium用法详解 selenium主要是用来做自动化测试，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。 模拟浏览器进行网页加载，当requests,urllib无法正常获取网页内容的时候 一、声明浏览器对象 注意点一，Python文件名或者包名不要命名为selenium， ...
分类：
其他好文 时间：
2018-06-13 18:11:16
阅读次数：
176
Python用做数据处理还是相当不错的，如果你想要做爬虫，Python是很好的选择，它有很多已经写好的类包，只要调用，即可完成很多复杂的功能，此文中所有的功能都是基于BeautifulSoup这个包。 1 Pyhton获取网页的内容(也就是源代码) page = urllib2.urlopen(ur ...
分类：
编程语言 时间：
2018-06-03 21:29:04
阅读次数：
1029
互联网是一张大网，爬虫就是在网上爬行的蜘蛛，爬行到的网页就相当于访问了该页面 爬虫就是获取网页并提取和保存信息的自动化程序 1、获取网页 获取网页，就是获取网页的源代码，从中提取有用的信息 关键就是构造请求发送给服务端，然后接受响应并解析 python提供了许多库来实现，比如urllib、reque ...
分类：
其他好文 时间：
2018-06-02 12:23:27
阅读次数：
187
1 using System; 2 using System.Collections.Generic; 3 using System.IO; 4 using System.Linq; 5 using System.Net; 6 using System.Text; 7 using System.Th... ...
function getViewport(){ if (document.compatMode == "BackCompat"){ return { width: document.body.clientWidth, height: document.body.clientHeight } } el... ...
分类：
编程语言 时间：
2018-05-30 01:17:34
阅读次数：
232
