下面是转发博客内容，挺有用的 大家好哈，现在呢静觅博客已经两年多啦，可能大家过来更多看到的是爬虫方面的博文，首先非常感谢大家的支持，希望我的博文对大家有帮助！ 之前我写了一些Python爬虫方面的文章，Python爬虫学习系列教程，涉及到了基础和进阶的一些内容，当时更多用到的是Urllib还有正则， ...
分类：
编程语言 时间：
2017-11-11 22:08:46
阅读次数：
206
1.什么是Urllib 它是Python内置的Http请求库 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块 2.urlopen 帮助我们发送request请 ...
分类：
Web程序 时间：
2017-11-07 00:17:24
阅读次数：
219
XPath在python的爬虫学习中，起着举足轻重的地位，对比正则表达式 re两者可以完成同样的工作，实现的功能也差不多，但XPath明显比re具有优势，在网页分析上使re退居二线。 XPath介绍： 是什么？ 全称为XML Path Language 一种小型的查询语言 说道XPath是门语言，不 ...
分类：
编程语言 时间：
2017-11-06 11:24:19
阅读次数：
188
1.掌握python的基本语法知识2.学会如何抓取HTML页面: HTTP请求的处理:urlib、urlib2及requests(reqests对urllib和urllib2进行了封装 ，功能相当于二者的和) 处理后的请求可以模拟浏览器发送的请求，获取浏览器的响应3.解析服务器响应的内容: re、xpath、BeautifulSoup4(bs4)、j..
分类：
编程语言 时间：
2017-11-02 11:23:05
阅读次数：
146
windows下爬虫脚本必须配置以下内容，否则出现编码错误
importsys,io
sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding=‘gb18030‘)
一、爬取煎蛋网内容
items.py#数据字段
importscrapy
classJiandanItem(scrapy.Item):
#definethefieldsforyouritemherelike:
#name..
分类：
其他好文 时间：
2017-10-27 18:02:03
阅读次数：
201
一、scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可以应用在数据挖掘，信息处
理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络抓取)所设计的，也
可以应用在获取API所返回的数据(例如AmazonAssociatesWebServices)或者..
分类：
其他好文 时间：
2017-10-26 23:00:33
阅读次数：
161
关于python爬虫，大家都很熟悉，那么我就不多说，开始做了。 首先，python爬虫先安装python库，主要是requests库，在windows中cmd中输入，pip install requests ，之后会自动安装。 之后再python IDLE 中输入import requests 无报 ...
分类：
编程语言 时间：
2017-10-12 20:32:41
阅读次数：
208
《Python爬虫学习系列教程》学习笔记 http://cuiqingcai.com/1052.html 大家好哈，我呢最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Pytho ...
分类：
编程语言 时间：
2017-10-06 21:20:28
阅读次数：
221
一、 安装python 虚拟环境 （将使用python2/3的项目分开） 1、安装virtualenvcmd cmd命令:pip install virtualenv 2、因为下载开发包很慢，所以下载开发包的第三方镜像--python豆瓣源（百度） 安装djangio cmd命令:pip insta ...
分类：
其他好文 时间：
2017-10-01 23:07:01
阅读次数：
265
因为工作需要经常收集一些数据，我就想通过学爬虫来实现自动化完成比较重复的任务。 目前我Python的状况，跟着敲了几个教程，也算是懂点基础，具体比较深入的知识，是打算从做项目中慢慢去了解学习。 我是觉得如果一开始就钻细节的话，是很容易受到打击而放弃的，做点小项目让自己获得点成就感路才更容易更有信心走 ...
分类：
编程语言 时间：
2017-09-20 14:58:23
阅读次数：
141
