用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。1、基本抓取网页get方法importurllib2url"http://www.baidu.com"respons=urllib2.urlopen(url)pr
分类：
编程语言 时间：
2020-04-23 12:01:50
阅读次数：
90
一.SCRUM部分 (1)成员描述 | 成员姓名 | 今日进度 | 耗时 |明日目标|今天遇到的问题|今天解决的问题| | : : | : : | : : | : : | : : |: : | |郑学贵|学习一些爬虫技巧|5h|完成美团爬虫|无|无| |李享|学习与后端交互|4h|与后端对接|axi ...
分类：
其他好文 时间：
2019-11-14 00:16:42
阅读次数：
110
用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。 爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 ? 1、基本抓取网页 get方法 post方法 2、使用代 ...
分类：
编程语言 时间：
2019-01-16 13:51:46
阅读次数：
236
免责声明： 本文意在讨论使用工具来应对软件研发领域中，日益增长的安全性质量测试需求。本文涉及到的工具不可被用于攻击目的。 1. 安全性测试 前些天，一则12306用户账号泄露的新闻迅速发酵，引起了购票用户的一片恐慌。 且不论这次账号泄露的漏洞究竟是发生在哪里，网络安全性这个话题再次引起了我们的关注。 ...
分类：
Web程序 时间：
2019-01-05 20:04:25
阅读次数：
397
python入门时 用得最多的还是各类爬虫脚本， 写过抓代理本机验证的脚本、写过论坛中自动登录自动发贴的脚本 写过自动收邮件的脚本、写过简单的验证码识别的脚本。 这些脚本有一个共性，都是和web相关的， 总要用到获取链接的一些方法，故累积了不少爬虫抓站的经验， 在此总结一下，那么以后做东西也就不用重 ...
分类：
其他好文 时间：
2018-12-27 18:30:36
阅读次数：
160
大数据时代，无论是设计产品还是营销推广，都需要以科学的数据分析为依据。现在想要获得海量的有效数据，还得依靠爬虫技术的帮助，而爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。1、Cookies处理cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)，python提供了cookielib模块用于处理cookies，cookie
分类：
其他好文 时间：
2018-12-08 13:22:20
阅读次数：
113
很多人学用python，用得最多的还是各类爬虫脚本：有写过抓代理本机验证的脚本，有写过自动收邮件的脚本，还有写过简单的验证码识别的脚本，那么我们今天就来总结下python爬虫抓站的一些实用技巧。 静态网页 对于静态网页的爬虫不用多说大家也都知道，因为爬取静态网页非常的简单，只要用requests直接 ...
分类：
编程语言 时间：
2018-09-07 19:17:17
阅读次数：
803
一些常用的爬虫技巧归纳与以下几点： 1、基本抓取网页 get方法 import urllib2 url "http://www.baidu.com" respons = urllib2.urlopen(url) print response.read() post方法 import urllib i ...
分类：
编程语言 时间：
2018-07-24 17:52:38
阅读次数：
195
如今已然是大数据时代，数据正在驱动着业务开发，驱动着运营手段，有了数据的支撑可以对用户进行用户画像，个性化定制，数据可以指明方案设计和决策优化方向，所以互联网产品的开发都是离不开对数据的收集和分析，数据收集的一种是方式是通过上报API进行自身平台用户交互情况的捕获，还有一种手段是通过开发爬虫程序，爬取竞品平台的数据，后面就重点说下爬虫的应用场景和实践中会遇到的问题和反反爬虫的一些套路与技巧。
分类：
其他好文 时间：
2018-02-28 15:14:32
阅读次数：
225
实习两个月，小记下自己目前的爬虫技巧 一、爬虫实际上是模仿我们平时登录网站的过程，通俗来讲就是给服务器发送请求，服务器接受请求并进行解析，并给出回应，在页面上就得到你想要的界面了。 二、用到的工具是python2.7以及谷歌浏览器。右键点击“检查”选项，Elements是页面内容，Network是请 ...
分类：
编程语言 时间：
2018-01-31 20:25:44
阅读次数：
168
