标签:超级 urlopen lib 映射 pytho div reduce map res
Map --映射
Reduce -- 归纳
将大数据标准化的处理
Map 拆封任务,Reduce将结果合并
这样是不是能够将很多计算机组成一台超级计算机呢?
一些问题:如果任务本身就很复杂,那么拆解任务本身就是一个很打的难题。
python 在2.6 的时候 增加了 map reduce函数
例如我们可以这样写
import urllib2 urls = [ ‘https://www.baidu.com‘, ‘http://www.douban.com‘ ] resurt = map(urllib2.urlopen,urls) #等价于 resurt = [] for url in urls: resurt.append(urllib2.urlopen(url))
标签:超级 urlopen lib 映射 pytho div reduce map res
原文地址:http://www.cnblogs.com/nerdlerss/p/7237104.html