现在快递遍布生活的角角落落，一个快递其实是信息的集合体，里面包含大量的物流信息，那能不能自己实现一个快递查询的小功能？答案是能的！现在也有别人整理好的快递查询api，比如说快递100，可以通过它提供的API查询各个快递品牌的物流信息，但它的免费版本一天只能查询100次，还需要填电子信息申请！比较麻烦... ...
分类：
编程语言 时间：
2020-02-27 22:17:04
阅读次数：
266
参考文档：https://weread.qq.com/web/reader/37132a705e2b2f37196c138k98f3284021498f137082c2e 说明：我才接触网络爬虫，在看《python网络爬虫入门到实践》一书时，作者写了个实例获取豆瓣电影TOP250的所有电影的电影名称 ...
分类：
编程语言 时间：
2020-02-16 23:27:33
阅读次数：
192
?写在前面 ： 欢迎加入纯干货技术交流群Disaster Army:317784952 接到5月25日之前要交稿的任务我就一门心思想写一篇爬虫入门的文章，可是我并不会。还好有将近一个月的时间去学习，于是我每天钻在书和视频教程里。其实并不难的，我只是想做到能够很好的理解它并用自己的语言较好的表达出来， ...
分类：
编程语言 时间：
2020-02-11 23:08:22
阅读次数：
130
内容整理自中国大学MOOC——北京理工大学-蒿天-基于bs4库的HTML页面遍历方法 我们使用如下链接作为实验对象 https://python123.io/ws/demo.html 页面信息如下 利用requests库爬取出网页的HTML完整代码 1 import requests 2 r = r ...
分类：
编程语言 时间：
2020-02-10 21:04:26
阅读次数：
126
主要使用python自带的urllib2进行爬虫实验。写在前面的蠢事：本来新建了一个urllib2.py便于好认识这是urllib2的实验，结果始终编译不通过，错误错误。不能用Python的关键字（保留字）来命名py文件，改了就好了。 正则表达式与re Python 通过 re 模块提供对正则表达式... ...
分类：
Web程序 时间：
2020-02-08 13:35:37
阅读次数：
106
http 当用户在浏览器地址栏输入了网址，进行跳转，就相当于发送了一个网络请求 这个过程需要有一定的规则，这个规则就是 http（超文本传输协议） http的请求方式： get 明文传参，比较便捷，但相对来说不安全 参数的长度有限制 post 比较安全 数据整体没有限制 可以上传文件 put 不完全 ...
分类：
其他好文 时间：
2020-01-23 16:55:49
阅读次数：
89
1. 海王评论数据爬取前分析 海王上映了，然后口碑炸了，对咱来说，多了一个可爬可分析的电影，美哉~ 摘录一个评论 零点场刚看完，温导的电影一直很不错，无论是速7，电锯惊魂还是招魂都很棒。打斗和音效方面没话说非常棒，特别震撼。总之，DC扳回一分（￣▽￣）。比正义联盟好的不止一点半点（我个人感觉）。还有 ...
分类：
编程语言 时间：
2020-01-17 00:18:26
阅读次数：
160
何谓爬虫 所谓爬虫，就是按照一定的规则，自动的从网络中抓取信息的程序或者脚本。万维网就像一个巨大的蜘蛛网，我们的爬虫就是上面的一个蜘蛛，不断的去抓取我们需要的信息。 爬虫三要素 抓取 分析 存储 基础的抓取操作 1、urllib在Python2.x中我们可以通过urllib 或者urllib2 进行 ...
分类：
编程语言 时间：
2020-01-01 17:16:50
阅读次数：
130
什么是爬虫？ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据。 ...
分类：
编程语言 时间：
2020-01-01 16:36:12
阅读次数：
108
CrawlSpider类 通过下面的命令可以快速创建 CrawlSpider模板 的代码： scrapy genspider -t crawl tencent tencent.com CrawSpider是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而Cra ...
分类：
编程语言 时间：
2019-12-25 13:20:24
阅读次数：
95
