码迷,mamicode.com
首页 > 编程语言 > 详细

python写网络爬虫的环境搭建

时间:2018-06-17 00:11:15      阅读:291      评论:0      收藏:0      [点我收藏+]

标签:模块   path   更新   blog   设置   第一步   问题   淘宝   ext   

 网上找了好多资料,都不全,通过资料的整理,包括自己的测试,终于把环境打好了,真是对于一个刚接触爬虫的人来说实属不易,现在分享给大家,若有不够详细之处,希望各位网友能补充。

第一步,下载python,

  这里有一个巨坑,python2.x与python3.x变化实在是太大,博主开始用的python2.7,后来发现很多模块版本太新,根本没办法使用,兼容性出了问题,索性把python2.7给卸了,然后下了python3.4,如果你习惯了用python2.x,就不要轻易升级,如果你是刚学python,建议还是安装3.x版本。还有就是注意python是64位还是32位。

 

技术分享图片

第二步,环境变量设置,由于会使用python命令,所以最好还是设一个

     桌面计算机—>右键“属性”—>点击“高级系统设置”—>高级属性里点击“环境变量”—>在系统变量里path中添加python安装目录。

 

第三步,下载一个合适的idl(代码编辑器),python自带的idle实在是太水了,对于一个项目来说,根本满足不了需求,只能做简单的测试。现在成熟的idl很多,博主使用的是Pycharm,觉得挺好用的,其他的不了解,你们可以尝试装机试试。

技术分享图片

技术分享图片

 

 

第四步,下载Beautiful Soup,

   Beautiful Soup是一个非常流行的python模块,这个模块可以解析网页,并提供定位内容的便捷接口,对于Beautiful Soup的介绍,大家在网上都能查到,博主就不浪费时间了。对于python3.x必须安装Beautiful Soup4,其他版本可能安装不了。

 

下载后解压到Python安装目录下

技术分享图片技术分享图片

 

打开cmd编辑器,进入到beautifulsoup文件夹内

执行 

setup.py build

然后执行 

setup.py install 

这样 Beautiful Soup模块就顺利的安装到了python3.4里

 

第五步,下载lxml库,lxml是Python语言里和XML以及HTML工作的功能最丰富和最容易使用的库。这一步博主真是走了好多弯路,先是下载lxml的版本不匹配,再是pip版本太低,弄了好久终于解决了。

在资源库里下载:http://www.lfd.uci.edu/~gohlke/pythonlibs/,这里lxml有好多版本:

技术分享图片技术分享图片

cp27代表是python2.7,cp34代表python3.4,amd64是64位的系统,不加代表32位。大家一定要对号入座,版本下错就惨了,就像博主我。。。

 

       下载后把它放进python的安装目录下,此操作与Beautiful Soup一样,这样主要是为了方便管理。在cmd命令里,先执行“python -m pip install wheel”,安装wheel,成功后在python目录下的Lib\site-packages,能查看到wheel文件夹,代表安装成功。

 

      然后安装lxml,“python -m pip install 你的lxml的路径(D:\workapps\python3.4.4\lxml-3.6.4-.....)”,如果提示你pip版本太低,则先更新pip(pip是一个安装和管理 Python 包的工具),命令行输入“python -m pip upgrade pip”,升级完成后,再次安装lxml,就完成了。最后打开Pycharm,测试程序OK!!!

技术分享图片

附上淘宝网页抓取测试代码:

技术分享图片

技术分享图片

 

 本文转载于:https://blog.csdn.net/u011139117/article/details/52788785

python写网络爬虫的环境搭建

标签:模块   path   更新   blog   设置   第一步   问题   淘宝   ext   

原文地址:https://www.cnblogs.com/curo0119/p/9191782.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!