SQL如何在Mapreduce执行 左边是数据表，右边是结果表，这条 SQL 语句对 age 分组求和，得到右边的结果表，到底一条简单的 SQL 在 MapReduce 是如何被计算， MapReduce 编程模型只包含 map 和 reduce 两个过程，map 是对数据的划分，reduce 负责 ...
分类：
数据库 时间：
2018-12-30 22:22:08
阅读次数：
366
Shuffle a set of numbers without duplicates. Example: Runtime: 244 ms, faster than 36.91% of C++ online submissions for Shuffle an Array. ...
分类：
其他好文 时间：
2018-12-30 02:32:35
阅读次数：
201
random模块 1、randint(a,b)返回[a,b]之间的整数 2、choice(seq)从非空序列的元素中随机挑选一个元素，比如random.choice(range(10)),从0到9中随机挑选一个整数。random.choice([1,2,3]) 3、randrange([start, ...
分类：
其他好文 时间：
2018-12-27 23:45:19
阅读次数：
215
一. 模块 模块: 是把装有特定功能的代码进行归类的结果, 从代码编写的单位来看我们的程序, 从小到大的顺序: 一条代码 < 语句块 < 代码块(函数, 类) < 模块. 我们目前写的所有py文件都是模块 引入模块的方式: 1. import 模块 2. from xxx import 模块 二. ...
分类：
编程语言 时间：
2018-12-27 00:32:12
阅读次数：
221
#!/usr/bin/envpython2#-*-coding:utf-8-*-"""CreatedonThuSep610:16:372018@author:myhaspl"""importtensorflowastfn=100xQueue=tf.FIFOQueue(100,dtypes=[tf.int32],shapes=[])withtf.Session()assess:foriinxrang
分类：
其他好文 时间：
2018-12-25 01:04:12
阅读次数：
160
1. Collections和Collection有什么区别？ 1. Collection 是集合框架中的一个顶层接口，它里面定义了单列集合的共性方法。它有两个常用的子接口， List：对元素都有定义索引。有序的。可以重复元素。 Set：不可以重复元素。无序。 2. Collections 是集合框 ...
分类：
其他好文 时间：
2018-12-18 00:09:22
阅读次数：
198
首先放一张官方图片，大致了解下整个MapReduce的处理过程。 抛出如下疑问： 1、MapReduce的基本原理是什么？即利用什么机制来实现的任务拆分处理？ 2、MapReduce任务执行过程是什么？任务怎么提交？如何运行？哪个组件或者模块可以监控任务的运行状态，比如YARN服务？数据存储（原始数 ...
分类：
其他好文 时间：
2018-12-13 01:07:58
阅读次数：
243
一、包 1.什么是包： 包就是一个包含有__init__.py文件的文件夹 2.为何要用包： 为了用文件夹讲文件/模块组织起来，提高程序的结构性和可维护性 3.包的使用 实例一： 创建文件夹aaa，在aaa文件夹内创建__init__.py 和 m1.py文件,在aaa同级目录下创建一个执行文件ru ...
分类：
其他好文 时间：
2018-12-05 20:57:39
阅读次数：
175
目录 前言 一、 搭建环境 1.1集群规划 二、 集群的相关配置 2.1 新建用户hadoop 2.2 更改主机名 2.3 主机和IP做相关映射 2.4 SSH免密码登录 2.5 时间配置 2.6 整体安装目录安排 三、 Hadoop HA环境搭建 3.1 JDK配置 3.2 安装配置Zookeep ...
分类：
其他好文 时间：
2018-12-05 18:33:41
阅读次数：
234
