hadoopMapReduce 1. MapReduce流程 2. Shuffle流程 1. MapReduce流程 MapReduce流程 切片: 对数据进行逻辑划分,默认大小是一个block块大小. 以文件为单位,所以注意小文件问题 计算规则:Math.max(minSize, Math.min ...
分类:
其他好文 时间:
2019-06-08 00:44:28
阅读次数:
92
1.什么是灰度发布灰度发布(又名金丝雀发布)是指在黑与白之间,能够平滑过渡的一种发布方式。在其上可以进行A/B testing,即让一部分用户继续用产品特性A,一部分用户开始用产品特性B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B上面来。灰度发布可以保证整体系统的稳定,在初 ...
分类:
其他好文 时间:
2019-06-08 00:44:14
阅读次数:
133
1.主线程参与计算 2.2个api 3.可以控制并发数量 ...
分类:
编程语言 时间:
2019-06-08 00:44:03
阅读次数:
104
为什么需要消息队列 周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…… 第二天正常上着班,突然接到快递小哥的电话: 小哥:“你是xx吗?你的女朋友到了,我现在在你楼下,你来拿一下吧!”。 我
分类:
其他好文 时间:
2019-06-08 00:43:33
阅读次数:
142
MultiSet和Set的区别: 1) MultiSet 可以插入完全相同的两条记录 会提高数据插入的速度 2) Set 不可以插入完全相同的两条记录 保证记录的唯一性 由于需要查重处理,会降低数据插入的速度 可以作为一种去重的方法 ...
分类:
其他好文 时间:
2019-06-08 00:43:18
阅读次数:
105
What Are You Going to Do With That? 我的题目提出的问题,当然,是一个经典的面向人文科学的专业所提出的问题:学习文学、艺术或哲学能有什么实效价值?你肯定纳闷,我为什么在以科技闻名的斯坦福提出这个问题呢?大学学位当然是给人们带来众多的机会,这还有什么需要质疑的吗? 但 ...
分类:
其他好文 时间:
2019-06-08 00:43:05
阅读次数:
106
王晋中博士 "简介" 王晋中,先后毕业于台湾大学电子工程系、美国加州大学伯克力分校电子工程系,获得电子工程博士学位。他具有国际化工作履历和经验,先后担任美国通用电气研发实验室科学家, 东芝美国医疗研究院资深探测器科学家及探测器实验室经理。王博士组建并带领团队研发能谱(Spectral) CT探测器, ...
分类:
其他好文 时间:
2019-06-08 00:42:48
阅读次数:
139
【Gamma阶段】第二次Scrum Meeting 每日任务内容 | 今日工作任务 | 明日待完成任务 | | | | | | | "个人信息样式,增加按钮设计" | "密码找回功能之问题验证样式设计" | 戴荣 | | "维持beta阶段的回归测试" | "修缮测试代码" |赵智源 | | "完善 ...
分类:
其他好文 时间:
2019-06-08 00:42:30
阅读次数:
103
**1001 害死人不偿命的(3n+1)猜想 (15 分)**卡拉兹(Callatz)猜想: 对任何一个正整数 n,如果它是偶数,那么把它砍掉一半;如果它是奇数,那么把 (3n+1) 砍掉一半。这样一直反复砍下去,最后一定在某一步得到 n=1。卡拉兹在 1950 年的世界数学家大会上公布了这个猜想, ...
分类:
编程语言 时间:
2019-06-08 00:42:18
阅读次数:
100
org-mode写cnblogsorg-mode写cnblogsTable of Contents1. 为什么用org-mode写博客2. 说明3. 配置方法1 为什么用org-mode写博客 我最开始用Emacs, 是因为org-mode。这是一个专注于写,而让我忽略展示结果的一种写作方式。为 什... ...
分类:
其他好文 时间:
2019-06-08 00:42:00
阅读次数:
162
环境搭建,我用的是Ubuntu18.04.python3自行安装。 安装pyqt5包。 安装所有依赖。 安装Qt设计师。 书中用的是eric6,但是我下载下来这个图标是一个蛇头,懒得换,挺吓人的,我还是用我的pycharm吧。我觉得功能也能补全。 接下来配置pycharm。 在设置中找到extern ...
分类:
其他好文 时间:
2019-06-08 00:41:48
阅读次数:
115
[TOC] 什么是封装 封:类的属性对外是隐藏的,但对内是开放的,类似于一个封闭的容器 装:定义类时会申请一个名称空间,往里装入一系列名字/属性 如何封装 如何隐藏:在属性前加上__开头,即可隐藏某个属性,该属性只可在类内部使用,无法在类外部使用,隐藏有以下四点需要注意: 1. 这种隐藏仅仅只是一种 ...
分类:
其他好文 时间:
2019-06-08 00:41:31
阅读次数:
100
活、死锁的定义 --引用https://www.cnblogs.com/sunnyCx/p/8108366.html 1.死锁:是指两个或两个以上的进程(或线程)在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁,这些永远在 ...
分类:
其他好文 时间:
2019-06-08 00:41:15
阅读次数:
188
今天假期。 但今天,也就是个星期五。为什么说上班的人都在盼望着假期?不是为了纪念谁,也不是因为庆祝谁,而在于假期本身。 好了,说说今天干了什么。今天想干点“大事”,对于才学了不到一个月 python 的我,想挑战下自己,写一写决策树。那就写一写书上的例子吧,“伦西瓜表面特征与西瓜好坏的关系。”(这我 ...
分类:
其他好文 时间:
2019-06-08 00:40:55
阅读次数:
117
http://poj.org/problem?id=1459 题意:多组测试数据,每组测试数据给出N,Np,Nc,M。N代表结点数量,M代表边的数量,Np代表结点中电站的数量(只产电,不耗电),Nc代表消费者数量(只耗电,不产电),其他结点代表中转站(不产电,不耗电)。 接着M组(u,v)w数据,代 ...
分类:
其他好文 时间:
2019-06-08 00:40:36
阅读次数:
101
sed的基本用法已能满足大多数需求,但当需要时,知道这些高级特效的存在及如何使用将提供莫大的帮助! 1. 多行命令 sed编辑器提供三个用于处理多行文本的特殊命令: N:将数据流的下一行加入当前模式空间 D:删除多行组中的一行 P:打印多行组中的一行 N:将数据流的下一行加入当前模式空间 D:删除多 ...
分类:
其他好文 时间:
2019-06-08 00:40:14
阅读次数:
109
#!/usr/bin/env python #__author: hlc #date: 2019/6/7 import os # a = os.getcwd() # 获取当前路径,即当前python脚本工作的路径 # print(a) # os.chdir("C:\Python37") # 改变当前... ...
分类:
编程语言 时间:
2019-06-08 00:40:00
阅读次数:
144