大数据时代，营销推广的主要依据就是大数据：根据大数据去抓取用户习惯，去抓取竞争对手的信息，却或许同类产品的相关资料等等。数据采集推动着数据分析，数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例，过程中就会面临，IP被封，爬取受限、违法操作等多种问题，所以在爬去数据之前，一定要了解好预爬网站是否涉及违法操作，找到合适的代理IP访问网站等一系列问题。我们都知道如果一个
分类：
其他好文 时间：
2020-03-25 18:52:59
阅读次数：
62
IP明细参考 先找到国内所有的IP "http://ipblock.chacuo.net/view/c_CN" 执行脚本 IIS白名单设置 powershell 如果嫌弃太慢，就直接改配置文件 先用脚本导入几个，然后找到以下配置文件，找到需要修改的位置 加上一下内容 参考 "https://deja ...
分类：
其他好文 时间：
2020-03-04 17:35:57
阅读次数：
110
（1）只在一台服务器上部署该定时任务代码。 （2）在定时任务代码上加上某个特定的ip限制，仅某个ip的服务器能运行该定时任务。 （3）利用数据库的共享锁事务管理机制来运行定时任务。 第一步：新建一张数据库表，表有三个字段：status（表当前定时器是否处于可运行状态）、timestamp（时间戳）、 ...
分类：
其他好文 时间：
2020-02-19 05:46:06
阅读次数：
152
https://blog.csdn.net/IT_xiao_guang_guang/article/details/104299983 前言 1.发送手机验证码用的是网建的SMS接口（ "http://sms.webchinese.cn/" ） 2.手机验证码简单的做了以下限制： ①发送验证码1分钟 ...
分类：
移动开发 时间：
2020-02-15 15:30:39
阅读次数：
88
师兄整理的操作文档，搬运部分分享 联网配置 由于服务器IP限制，无法连接外网，有网络需求时请按以下方法进行配置。 Windows系统 1. 下载并安装CCProxy：http://update.youngzsoft.com/ccproxy/update/ccproxysetup.exe 2. 启动C ...
分类：
其他好文 时间：
2020-02-13 17:09:37
阅读次数：
103
################## Python语法基础 ####################### django框架部分 1，流程 2，admin 3，视图 3，路由 4，csrf 3.csrf是什么？django是如何防范的？ django请求的生命周期， 浏览器-wsgi-中间件-路由- ...
分类：
编程语言 时间：
2020-01-22 16:43:40
阅读次数：
305
利用ngx_http_limit_req_module模块，可根据键值（如ip）限制每分钟的速率； limit_req_zone 用来限制单位时间内的请求数，即速率限制,采用的漏桶算法 "leaky bucket" , http://nginx.org/en/docs/http/ngx_http_l ...
分类：
Web程序 时间：
2020-01-12 18:26:43
阅读次数：
284
反爬技术： 1. UA反爬：携带ua,构建有效ua池；2. Ip限制：限制同一ip的访问频率，download_delay =8,代理ip;3. 数据藏在js脚本：一般使用re提取数据；4. ajax请求（动态数据）：可以使用selenium或者pypepeer,但是效率太低，影响机器性能， 推荐直 ...
分类：
其他好文 时间：
2019-11-16 12:40:46
阅读次数：
68
iptables限制访问 常用命令 限制ip 限制端口 限制并发访问 解除封印 ...
分类：
其他好文 时间：
2019-10-30 16:37:24
阅读次数：
96
常见的反爬机制及处理方式 1、Headers反爬虫 ：Cookie、Referer、User-Agent 解决方案: 通过F12获取headers,传给requests.get()方法 2、IP限制 ：网站根据IP地址访问频率进行反爬,短时间内进制IP访问 解决方案: 1、构造自己IP代理池,每次访 ...
分类：
Web程序 时间：
2019-09-04 20:56:58
阅读次数：
154
