目前几乎很多大型网站及应用都是分布式部署的，分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两 ...
分类：
其他好文 时间：
2018-06-11 22:14:05
阅读次数：
156
小说网 https://www.qu.la/paihangbang/ 功能：抓取每个排行榜内的小说名和对应链接，然后写入excel表格里面。 按F12 审查页面元素可以得到你所要的信息的class，从而来定位。 具体看代码讲解吧。 本次主要是记录编码问题。 编写完后run完出来是一个乱码的excel ...
分类：
编程语言 时间：
2018-06-08 19:30:42
阅读次数：
140
一、爬虫网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。二、scrapy框架Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络
分类：
其他好文 时间：
2018-06-03 12:35:08
阅读次数：
223
百度百科上这么介绍爬虫： 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 在开发爬虫时常用的工具：chrome浏览器，fiddler工具，postman插件。 有关fiddler知识的地址：http:/ ...
分类：
Web程序 时间：
2018-05-27 10:43:50
阅读次数：
214
什么是网络爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 环境：Python3.6+Windows 开发工具：你喜欢用哪个就用哪个，你开 ...
分类：
编程语言 时间：
2018-05-19 23:29:43
阅读次数：
459
为什么要学习爬虫？ 学习爬虫，可以私人订制一个搜索引擎。 大数据时代，要进行数据分析，首先要有数据源。 对于很多SEO从业者来说，从而可以更好地进行搜索引擎优化。 什么是网络爬虫？ 模拟客户端发送网络请求，接收请求对应的数据，按照一定的规则，自动抓取互联网信息的程序。 只要是客户端(浏览器)能做的的... ...
分类：
其他好文 时间：
2018-05-19 21:26:00
阅读次数：
257
shopnc助理，是一款上传商品到自己的shopnc商城中的软件 随着独立电商的发展，越来越多的人开始自己创业。无疑，电商发展是很多创业者的理想方向，随着新时代经济与社会的不断发展，互联网信息不断扩大，网络使用人群不断的增加，电子商务行业慢慢的就发展起来了 前几年，做电商的还是比较容易的，竞争压力小 ...
分类：
Web程序 时间：
2018-05-14 11:46:01
阅读次数：
445
学习爬虫有一小段时间了，于是决定把自己学爬虫时所学的，写过的代码以及看过的文档记录下来，权当小结。第一次写这些，如果有错误，请多指教。 首先我们需要了解一下什么是爬虫。 根据百度百科上给出的定义，” 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定 ...
分类：
编程语言 时间：
2018-05-12 17:26:20
阅读次数：
198
爬虫了解一下 网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 Python的安装 本篇教程采用Python3 来写，所以你需要给你的电脑装上Python3才行。注意选择正确的版本，一般下载并且安装完成，pip也一起安装好了。 链接：https://pa ...
分类：
编程语言 时间：
2018-05-11 00:49:48
阅读次数：
238
爬虫的定义 爬虫：按照一定的规则，自动抓取互联网信息的程序或者脚本，从而获取对于我们有价值的信息。 爬虫的两大特征 爬虫的三大步骤 爬虫的分类 爬虫的结构 Python爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。 爬虫的执行流程 爬虫 ...
分类：
其他好文 时间：
2018-05-09 22:34:24
阅读次数：
171
