如何编写python脚本?很多朋友学习python都希望能从爬虫开始，而网络爬虫是近年来的热门话题，学习网络爬虫的人越来越多！其实，一般的爬虫技术具有2个功能：取数据和存数据！好像我们说了句废话。。。但从这两个功能进行拓展，需要的知识很多：请求数据，防爬处理，页面解析，内容匹配，绕过验证码，维护登录和数据库等相关知识，今天我们就来谈谈做一个简单的爬虫，需要的一般步骤！！（可以看文章底部哦！）存数据
分类：
编程语言 时间：
2020-04-22 10:01:28
阅读次数：
74
最近有个小伙伴在群里问美团数据怎么获取，而且她只要火锅数据，她在上海，只要求抓上海美团火锅的数据，而且要求也不高，只要100条，想做个简单的分析，相关的字段如下图所示。 乍一看，这个问题还真的是蛮难的，毕竟美团也不是那么好抓，什么验证码，模拟登陆等一大堆拂面而来，吓得小伙伴都倒地了。 通过F12查看 ...
分类：
其他好文 时间：
2020-04-22 09:17:02
阅读次数：
69
如果采用 HttpServletResponse.sendRedirct() 方法将客户端重定向到成功页面，将不会出现重复提交问题 1.表单的重复提交 1). 重复提交的情况: ①. 在表单提交到一个 Servlet, 而 Servlet 又通过请求转发的方式响应一个 JSP(HTML) 页面, 此 ...
分类：
Web程序 时间：
2020-04-21 23:50:25
阅读次数：
89
1.Kaptcha 简介 Kaptcha 是一个可高度配置的实用验证码生成工具，可自由配置的选项如： 验证码的字体 验证码字体的大小 验证码字体的字体颜色 验证码内容的范围(数字，字母，中文汉字！) 验证码图片的大小，边框，边框粗细，边框颜色 验证码的干扰线 验证码的样式(鱼眼样式、3D、普通模糊、 ...
分类：
其他好文 时间：
2020-04-21 18:15:32
阅读次数：
71
我们在接口自动化中难免会遇到验证码的问题，有很多方法：1、让RD注释掉验证码的校验，部署此服务来做接口自动化测试，即不输入或者万能码任意一种方法都行2、数据库，一般相应的服务都有在数据库存短信验证码，我们可以mysql.connector模块来连接数据，操作查询数据库来获取验证码3、日志，除了在数据库中存放，服务器日志上也会有验证码的记录。怎么来像我们平常测试一样看日志获取验证码数字呢，本文主要讲
分类：
编程语言 时间：
2020-04-20 23:18:59
阅读次数：
264
我做的是一个识别验证码的深度学习模型，识别的图片如下 验证码图片识别4个数字，数字间是有顺序的，设立标签时设计了四个onehot向量链接起来，成了一个长度为40的向量，然后模型的输入也是40维向量用softmax_cross_entropy_with_logits(labels=,logits=)函 ...
分类：
其他好文 时间：
2020-04-20 16:15:30
阅读次数：
285
需求：通过淘宝模拟登录打造一个关键词搜索库 以上代码不足之处，没有使用代理，淘宝网算是反爬比较厉害的网站，时不时会跳出来浏览限制（比如让输入验证码），一般都是因为同一个ip短时间内数据获取量太快 提供三个解决方案 1. 外接打码平台，识别验证码，返回输入 2. 如果比较牛逼，可以使用深度学习图像识别 ...
分类：
其他好文 时间：
2020-04-19 23:43:21
阅读次数：
138
在日常业务场景中，有很多安全性操作例如密码修改、身份认证等等类似的业务，需要先短信验证通过再进行下一步。 一种直接的方案是提供2个接口： 1.SendActiveCodeFor密码修改，发送相应的短信+验证Code。 2.VerifyActiveCodeFor密码修改，参数带入手机接收到的短信验证C ...
分类：
其他好文 时间：
2020-04-18 23:14:23
阅读次数：
66
所学时间（包括上课） 二十六个小时 代码量（行） 三千六百左右（包括样板代码） 博客量 八篇 了解到的知识点 1、初步掌握了使用echart的wordCloud 实现热词云，以及热词的点击事件的实现。 2、学习了Android评论区的简单实现。 3、学习了使用mobtech实现手机号+验证码，登入功 ...
分类：
其他好文 时间：
2020-04-18 18:38:53
阅读次数：
71
