一、有序集合求交集的方法有 a）二重for循环法，时间复杂度O(n*n) b）拉链法，时间复杂度O(n) c）水平分桶，多线程并行 d）bitmap，大大提高运算并行度，时间复杂度O(n) e）跳表，时间复杂度为O(log(n)) 以下是方法的具体介绍： 方案一：for * for，土办法，时间复杂 ...
分类：
其他好文 时间：
2018-11-24 19:02:01
阅读次数：
231
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是”任务的分解与结果的汇总”。 Map ...
分类：
其他好文 时间：
2018-11-16 15:12:27
阅读次数：
218
①什么是GCD 全称是Grand Central Dispatch，可译为“牛逼的中央调度器”，纯C语言，提供了非常多强大的函数 GCD的优势 GCD是苹果公司为多核的并行运算提出的解决方案 GCD会自动利用更多的CPU内核（比如双核、四核） GCD会自动管理线程的生命周期（创建线程、调度任务、销毁 ...
分类：
编程语言 时间：
2018-11-14 22:34:37
阅读次数：
247
1、什么是hadoop hadoop中有3个核心组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算 分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源 ...
分类：
其他好文 时间：
2018-09-22 19:52:16
阅读次数：
169
1.1 MapReduce 是什么 MapReduce 是一种分布式的离线计算框架，是一种编程模型，用于大规模数据集(大于 1TB)的并行运算。将自己的程序运行在分布式系统上。概念是："Map(映射)"和"Reduce(归约)"。 指定一个 Map( 映射) ) 函数，用来把一组键值对映射成一组新的 ...
分类：
其他好文 时间：
2018-08-01 12:07:48
阅读次数：
148
Hadoop 3个核心组件： 分布式文件系统：Hdfs——实现将文件分布式存储在很多的服务器上（hdfs是一个基于Linux本地文件系统上的文件系统） 分布式运算编程框架：Mapreduce——实现在很多机器上分布式并行运算 分布式资源调度平台：Yarn——帮用户调度大量的mapreduce程序，并 ...
分类：
其他好文 时间：
2018-07-28 18:26:52
阅读次数：
113
rm(list=ls())time1 <- Sys.time()library(parallel)#打开四核，具体核数根据机器的核数决定cl <- makeCluster(getOption('cl.cores', 1))# sumtest <- function(x){ result = x + ...
分类：
其他好文 时间：
2018-07-16 14:04:40
阅读次数：
129
导读：计算机科学是算法与算法变换的科学，算法是计算机科学的基石。任何一个计算问题的分析与建模，几乎都可以归为算法问题。MapReduce算法模型是由Google公司针对大规模群组中的海量数据处理而提出的分布编程模型，主要应用于大规模数据集{大于1TB}的分布并行运算。在MapReduce模型中的Map{映射}和Reduce{化简}创意来自函数型编程语言，同是也继承了向量型编程语言的特性。MapRe
分类：
其他好文 时间：
2018-06-15 17:10:45
阅读次数：
211
基础补充1——collections模块 命名元组另一个用途就是作为字典的替代,因为字典存储需要更多的内存空间。如果你需要构建一个非常大的包含字典的数据结构,那么使用命名元组会更加高效。但 是需要注意的是,不像字典那样,一个命名元组是不可更改的。 from collections import na ...
分类：
其他好文 时间：
2018-06-07 21:55:00
阅读次数：
190
1- 什么是 Multiprocessing 和 threading 的比较 多进程 Multiprocessing 和多线程 threading 类似, 他们都是在 python 中用来并行运算的. 不过既然有了 threading, 为什么 Python 还要出一个 multiprocessin ...
分类：
系统相关 时间：
2018-05-02 02:45:24
阅读次数：
269
