大数据时代，营销推广的主要依据就是大数据：根据大数据去抓取用户习惯，去抓取竞争对手的信息，却或许同类产品的相关资料等等。数据采集推动着数据分析，数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例，过程中就会面临，IP被封，爬取受限、违法操作等多种问题，所以在爬去数据之前，一定要了解好预爬网站是否涉及违法操作，找到合适的代理IP访问网站等一系列问题。我们都知道如果一个
分类：
其他好文 时间：
2020-03-25 19:18:27
阅读次数：
79
大数据时代，营销推广的主要依据就是大数据：根据大数据去抓取用户习惯，去抓取竞争对手的信息，却或许同类产品的相关资料等等。数据采集推动着数据分析，数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例，过程中就会面临，IP被封，爬取受限、违法操作等多种问题，所以在爬去数据之前，一定要了解好预爬网站是否涉及违法操作，找到合适的代理IP访问网站等一系列问题。我们都知道如果一个
分类：
其他好文 时间：
2020-03-25 18:52:59
阅读次数：
62
有些网站不允许爬虫进行数据爬取，因为会加大服务器的压力。其中一种最有效的方式是通过 ip+时间进行鉴别，因为正常人不可能短时间开启太多的页面，发起太多的请求。 我们使用的WebMagic可以很方便的设置爬取数据的时间。但是这样会大大降低我们爬取数据的效率，如果不小心 ip 被禁了，会让我们无法爬去数 ...
分类：
其他好文 时间：
2020-03-25 09:16:41
阅读次数：
73
爬虫程序的访问速率和目的与正常用户的访问速率和目的是不同的,大部分爬虫会无节制地对目标应用进行爬取,这给目标应用的服务器带来巨大的压力。爬虫程序发出的网络请求被运营者称为 "拉圾流量"。 开发者为了保证服务器的正常运转或降低服务器的压力与运营成本,不得不使出各种各样的技才手段来限制爬虫对服务器资源的 ...
分类：
其他好文 时间：
2020-03-24 00:43:07
阅读次数：
59
Ajax 即“Asynchronous Javascript And XML”（异步 JavaScript 和 XML），是指一种创建交互式、快速动态网页应用的网页开发技术，无需重新加载整个网页的情况下，能够更新部分网页的技术。 通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。 ...
分类：
Web程序 时间：
2020-03-23 20:19:06
阅读次数：
87
# 1.导入urllib中的request # 2.定义爬取的url(统一资源定位符) # 3.定义一个请求对象request # request的参数有url：访问的网址；data：发起请求时带的数据请求方式为post； # headers：包括发送HTTP报文的键值对(例如user-agent请 ...
分类：
Web程序 时间：
2020-03-23 15:20:29
阅读次数：
79
1 from urllib import request,parse 2 import os 3 # https://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0 4 # https://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50 ...
分类：
Web程序 时间：
2020-03-23 15:01:56
阅读次数：
82
记录一下在用python爬取百度链接中遇到的坑： 1.获取百度搜索页面中的域名URL BeautifulSoup获取a标签中href属性后，链接为百度url，利用request直接访问默认会直接进行跳转，无法获取所需域名 此时需要将requests的allow_redirects属性设置为False ...
分类：
编程语言 时间：
2020-03-23 13:50:02
阅读次数：
82
class MeiJuItem(scrapy.Item): ''' 爬取美剧 定义MeiJuItem类继承scrapy.Item 定义存储数据 明确存储信息 ''' name = scrapy.Field() href = scrapy.Field() state = scrapy.Field() ...
分类：
其他好文 时间：
2020-03-23 12:40:13
阅读次数：
114
2020.3.22 pycharm：使用python进行爬取，并存储到文件 1.爬取网页的通用代码框架 1 try: 2 r = requests.get(url, timeout = 30) 3 r.raise_for_status() 4 r.encoding = r.apparent_enco ...
分类：
其他好文 时间：
2020-03-22 22:33:56
阅读次数：
79
