如何编写python脚本?教你做简单的爬虫，适合初学者

标签：绕过   png   规则   验证码   scrapy   auto   模式   path   char   

其实，一般的爬虫技术具有2个功能：取数据和存数据！好像我们说了句废话。。。

但从这两个功能进行拓展，需要的知识很多：请求数据，防爬处理，页面解析，内容匹配，绕过验证码，维护登录和数据库等相关知识，今天我们就来谈谈做一个简单的爬虫，需要的一般步骤！！（可以看文章底部哦！）

存数据

先说存储的数据，因为在最初的研究的时候，较少接触，并不需要过于关注，随着后面的学习，我们需要存储大量数据，就需要你学习数据库相关的知识了！这个我们后面再说。

初期，我们能够抓到需要的内容后，只需要保存到本地，无非保存到文档、表格（excel）等等几个方法，这里大家只需要掌握with语句就基本可以保证需求了。基本是这样的：

with open（路径以及文件名，保存模式） as f：f.write（数据）＃如果是文本可直接写入，如果是其他文件，数据为二进制模式更好

当然，要保存Excel电子表格或文档就需要使用xlwt（EXCEL），python-docx库（word），这个在网上很多，大家可以自行去学习。（可以看文章底部哦！）

取数据

啰嗦的人那么多，终于到正题，怎么来抓取我们需要的数据呢？别急，一步步来！

通常所说的抓取网站上的内容，是指通过Python脚本实现访问URL地址（请求数据），然后获取它返回的内容(HTML源代码，Json格式的字符串等)。然后通过解析规则（页面解析)，分析我们需要的数据并且取(内容匹配）出来。

用python实现爬取数据的功能其实还是很方便的，而且还有很多库来满足我们的需求，例如先用requests库取一个url（网页）的源码

import requests＃导入库url = ‘你的目标公司网址‘response = requests.get（url） ＃请求进行数据print（response.text） ＃打印出这些数据的文本内容。

通过这些代码就可以得到网页的源代码，但有时会有乱码的情况出现，为什么？

因为抓取的网站大部分是中文网站，也就是包含了中文，但终端并不支持GBK编码，所以在我们打印时就要自己把中文从gbk格式转为终端支持的编码，通常为utf-8编码。

所以需要我们在打印response之前，需要对它进行编码的指定（可以直接使用指定某些代码显示的编码格式为网站网页本身的编码标准格式，比如utf-8，网页编码格式一般都在源代码中的＜meta＞标签下的charset属性中指定）。加上一行即可

response.encode = ‘utf-8‘ ＃指定编码格式

到目前为止，我们已经抓取到了网站网页上的源代码，那么下一步就是要在源码中找到我们所需要的那些内容，而这里就要用到各种各样的匹配方式了，几种常用的方法有：正则表达式（RE库），BS4（Beautifulsoup4库），XPath的（LXML库）！

建议我们大家可以从正则开始进行学习，最后一定要通过看看xpath，这个在爬虫技术框架scrapy中用的非常多！

在通过各种匹配方式找到我们的内容后（注意：一般情况下匹配出来的都是列表哦），就到了上面所说的存数据的阶段了，这就完成了一个简单的爬虫！！

当然，也许当我们自己去编写代码的时候，会发现很多我上面并没有说到的内容，例如：

在你去获取别人网站或网页源码时会遇到反爬，很难获取到数据，而且很多网站需要登录后才能拿到内容，等等之类的！

所以，学习本身是一个漫长的过程，我们需要不断的实践来增加我们的学习兴趣，以及学习更扎实的知识！ 加油，各位！

如果你需要Python的学习资料，可以看我的名字，也就是“Python女一号”的全拼，“家危”找我就可以拿到了，什么都不要，直接拿就行！

如何编写python脚本?教你做简单的爬虫，适合初学者

标签：绕过   png   规则   验证码   scrapy   auto   模式   path   char   

原文地址：https://blog.51cto.com/14793541/2489192