python入门时 用得最多的还是各类爬虫脚本， 写过抓代理本机验证的脚本、写过论坛中自动登录自动发贴的脚本 写过自动收邮件的脚本、写过简单的验证码识别的脚本。 这些脚本有一个共性，都是和web相关的， 总要用到获取链接的一些方法，故累积了不少爬虫抓站的经验， 在此总结一下，那么以后做东西也就不用重 ...
分类：
其他好文 时间：
2018-12-27 18:30:36
阅读次数：
160
学习前端的时候有时也会遇到一些弄不明白的问题，学习js会有更多的方法不清楚它的用法，我谨以在学习中遇到的一些问题记录下来，以便日复习！ 一."window.opener.location.reload()"方法到底是什么意思？在什么场合用该方法？ 答：目前不知道。 ...
分类：
Web程序 时间：
2018-12-27 03:10:39
阅读次数：
188
什么是Map、什么是Reduce MapReduce是一个分布式编程计算模型，用于大规模数据集的分布式系统计算。 我个人理解，Map（映射、过滤）就是对一个分布式文件系统（HDFS）中的每一行（每一块文件）执行相同的函数进行处理； Reduce（规约、化简）就是对Map处理好的数据进行两两运算，因此 ...
分类：
其他好文 时间：
2018-12-20 11:54:38
阅读次数：
256
下载git Windows客户端 git客户端下载地址：https://git-scm.com/downloads 我这里下载的是Git-2.14.0-64-bit.exe版本 下载TortoiseGit TortoiseGit客户端下载地址：https://tortoisegit.org/down ...
本文将介绍handler处理器和自定义opener，更多内容请参考:python学习指南 opener和handleer 我们之前一直使用的是urllib2.urlopen(url)这种形式来打开网页，它是一个特殊的opener(也就是模块帮我们建好的)，opener是urllib2.OpenerD ...
分类：
编程语言 时间：
2018-12-17 23:49:09
阅读次数：
269
urllib2的异常错误处理 在我们用urlopen或opener.open方法发出一个请求时，如果urlopen或opener.open不能处理这个response，就产生错误。 这里主要说的是URLError和HTTPError,以及对它们的错误处理。 URLError URLError产生的原 ...
分类：
编程语言 时间：
2018-12-17 23:47:40
阅读次数：
208
1、简介 Copy-On-Write简称COW，是一种用于程序设计中的优化策略。其基本思路是，从一开始大家都在共享同一个内容，当某个人想要修改这个内容的时候，才会真正把内容Copy出去形成一个新的内容然后再改，这是一种延时懒惰策略。从JDK1.5开始Java并发包里提供了两个使用CopyOnWrit ...
分类：
其他好文 时间：
2018-12-11 14:32:54
阅读次数：
256
1 ''' 2 构建代理集群/队列 3 每次访问服务器，随机抽取一个代理 4 抽取可以使用 random.choice 5 6 分析步骤： 7 1. 构建代理群 8 2. 每次访问，随机选取代理并执行 9 ''' 10 11 12 from urllib import request, error ... ...
分类：
编程语言 时间：
2018-12-08 11:12:38
阅读次数：
304
我主要是参照这篇文章win10下安装Ubuntu16.04双系统来做的。 但是其中针对自己电脑出现了一些问题。特此记录: 按照这个流程，做到了ubuntu安装的这个步骤时，发现识别不了 百度找了很多方法，一开始认为自己的压缩卷（显示黑色，未作任何操作）有问题 有方法称需要使用分区助手将动态磁盘转化为 ...
urllib.request urllib.parse requests import requests response = requests.get('http://www.baidu.com/') print(response.url) print(response.text) print(r ...
分类：
其他好文 时间：
2018-12-03 22:11:36
阅读次数：
426
