Python爬虫技术干货，教你如何实现抓取京东店铺信息及下载图片

标签：描述   筛选   匹配   term   编译   字符   换行   世界   大数据   

Python爬虫开发,从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。

世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。

Python爬虫实例参考

这是一个用Python爬虫实现抓取京东店铺信息以及下载图片的例子，仅供参考。

信息抓取：

图片下载的：

注意：

1、在选择信息的时候用CSS

2、用 get_text（）方法筛选标签中的文本信息

3、strip ，lstrip，rstrip 的用法：

Python中的strip 用于去除字符串的首尾字符；同理，lstrip 用于去除左边的字符；rstrip 用于去除右边的字符。

这三个函数其实都可以传入一个参数，指定要去除的首尾字符。

但是需要注意的是，传入的是一个字符数组，编译器去除两端所有相应的字符，直到没有匹配的字符，比如：

theString依次被去除首尾在[‘s‘，‘a‘，‘y‘]数组内的字符，直到字符在不数组内。所以，输出的结果为：

比较简单吧，lstrip和rstrip原理是一样的。

注意：当没有传入参数时，是默认去除首尾空格和换行符的。

运行结果：

以上案例代码部分以图片形式展示，仅供参考。

Python爬虫技术干货，教你如何实现抓取京东店铺信息及下载图片

标签：描述   筛选   匹配   term   编译   字符   换行   世界   大数据   

原文地址：http://blog.51cto.com/14167862/2349023