码迷,mamicode.com
首页 > 其他好文 > 详细

六月分享主题:爬虫

时间:2019-06-10 09:18:39      阅读:103      评论:0      收藏:0      [点我收藏+]

标签:soa   idp   uid   直接   分类   世界   用户   pos   插入图片   

猪哥最早接触Python语言就是从爬虫开始的,因为当时公司需要开发一个这样的功能:解析用户收到的购票短信,然后分析短信提取有效信息,最后建立闹钟提醒用户。举个例子:小明买了两张晚上12点的电影票打算和女朋友一起去看电影。在收到购票短信后,我们会使用nlp分词分类,然后再匹配之前爬取到的近期所有上映电影名称,最后提取出电影播放时间、电影名称、影院名称和地点等重要信息,自动设置一个提前的闹钟,这样就避免小明同学因为睡过头而误了好事。

一、爬虫过时了吗

之前在群里看见有人说:现在很多网站都有了反爬虫技术,所以爬虫没什么好学的了,等这类唱衰爬虫的话。但是在猪哥看来,爬虫是Python最重要的一个应用之一,为什么这么说?

  1. 世界上没有一个网站,能做到完美地反爬虫
  2. 大数据时代爬虫是获取数据的一个重要途径
  3. 数据分析、机器学习等也许都会用到爬虫来获取数据样本

技术图片

二、学习路线

所以说爬虫是作为Python程序员必备的一项技能,那本期猪哥就带大家来一起从零开始学习爬虫这项技能。猪哥希望通过一两个月时间能为大家系统的讲解爬虫,让大家有个全面的认知和学习。

以下是我整理的学习路径,后面的文章会根据这个学习路径来写。
技术图片
基本的思路就是:爬虫是什么?怎么爬?爬到怎么提取有效信息?如何保存有效信息?有没有封装好的框架?

三、反馈

大家对上面的学习曲线有任何建议或意见都可以直接在下方留言,希望我们共同制定一个比较正确完整的路线,毕竟一个人的思想肯定是不够完善与正确。

鼓励大家去发现我的错误、提出自己想法,互相帮助,共同进步!
技术图片

?

六月分享主题:爬虫

标签:soa   idp   uid   直接   分类   世界   用户   pos   插入图片   

原文地址:https://www.cnblogs.com/pig66/p/10995446.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!