静觅 » Python爬虫入门二之爬虫基础了解 2.浏览网页的过程 在用户浏览网页的过程中，我们可能会看到许多好看的图片，比如 http://image.baidu.com/ ，我们会看到几张的图片以及百度搜索框，这个过程其实就是用户输入网址之后，经过DNS服务器，找到服务器主机，向服务器发出一个请 ...
分类：
编程语言 时间：
2016-05-31 22:11:50
阅读次数：
137
1.什么是爬虫 爬虫，即网络爬虫，大家可以理解为在网络上爬行的一只蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，如果它遇到资源，那么它就会抓取下来。想抓取什么，就靠你自己去控制它。 比如它在抓取一个网页，在这个网中它发现了一条道路，其实就是指向网页的超链接，那么它就可以爬虫另一张网 ...
分类：
编程语言 时间：
2016-05-22 21:29:14
阅读次数：
173
对Python有一些简单了解的朋友都知识Python编程语言有个很强大的功能，那就是Python网络爬虫（http://www.maiziedu.com/course/python/645-9570/），一提到Python，就会想到相关的Python爬虫和scrapy等等，今天就来简单认识学习Python爬虫的基础知识，有了一定的相关爬虫知识，以后学习scrapy、urllib等等知识时，会相对轻...
分类：
编程语言 时间：
2016-05-12 21:11:47
阅读次数：
162
一，获取整个页面数据Urllib模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据。首先，我们定义了一个getHtml()函数:urllib.urlopen()方法用于打开一个URL地址。read()方法用于读取URL上的数据，向getHtml()函数传递一个网址，并把整个页面下..
分类：
编程语言 时间：
2016-05-09 18:57:37
阅读次数：
232
爬虫基础及正则表达式：http://blog.csdn.net/gzh0222/article/details/12647723 爬虫实战及进阶：http://www.cnblogs.com/xin-xin/p/4297852.html 其他网络资料：http://www.crifan.com/fi
分类：
数据库 时间：
2016-02-17 12:52:46
阅读次数：
458
近日，学习爬虫基础，自己写了一个小脚本。目标：每天晚上定时发送第二天的工作项目到QQ邮箱。思路： 1、从停电申请系统，统计出第二日的工作项目。 2、每天晚上定时发送该项目到QQ邮箱。要解决的主要问题： 1、从停电申请系统获取第二日的数据。 2、定时任务。 3、发送邮件的脚本。步骤： 1。...
分类：
编程语言 时间：
2016-01-15 20:02:14
阅读次数：
157
首先，推荐两个关于python爬虫不错的博客：Python爬虫入门教程专栏 和 Python爬虫学习系列教程。写的都非常不错，我学习到了很多东西！在此，我就我看到的学到的进行总结一下！ 爬虫就是一个不断的去抓去网页的程序，根据我们的需要得到我们想要的结果！但我们又要让服务器感觉是我们人在通过浏...
分类：
编程语言 时间：
2016-01-14 18:47:36
阅读次数：
189
这一篇我们聊聊在页面抓取时应该注意到的几个问题。一：网页更新 我们知道，一般网页中的信息是不断翻新的，这也要求我们定期的去抓这些新信息，但是这个“定期”该怎么理解，也就是多长时间需要抓一次该页面，其实这个定期也就是页面缓存时间，在页面的缓存时间内我们再次抓取该网页是没有必要的，反而给人家服务器造成....
分类：
Web程序 时间：
2015-12-21 12:32:47
阅读次数：
230
百词斩是一款很不错的单词记忆APP，在学习过程中，它会记录你所学的每个单词及你答错的次数，通过此列表可以很方便地找到自己在记忆哪些单词时总是反复出错记不住。我们来用Python来爬取这些信息，同时学习Python爬虫基础。首先来到百词斩网站：http://www.baicizhan.com/logi...
分类：
编程语言 时间：
2015-12-16 01:39:42
阅读次数：
374
最近想学一下Python爬虫与检索相关的知识，在网上看到这个教程，觉得挺不错的，分享给大家。来源：http://cuiqingcai.com/1052.html一、Python入门1.Python爬虫入门一之综述2.Python爬虫入门二之爬虫基础了解3.Python爬虫入门三之Urllib库的基本...
分类：
编程语言 时间：
2015-11-25 10:53:25
阅读次数：
166
