MapReduce既是一个编程模型,也是一个计算组件,处理的过程分为两个阶段,Map阶段:负责把任务分解为多个小任务,Reduce负责把多个小任务的处理结果进行汇总。其中Map阶段主要输入是一对Key-Value,经过map计算后输出一对Key-Value值;然后将相同Key合并,形成Key-Value集合;再将这个Key-Value集合转入Reduce阶段,经过计算输出最终Key-Value结果集。
分类:
其他好文 时间:
2020-11-26 14:53:23
阅读次数:
6
参考: https://blog.csdn.net/paul_wei2008/article/details/19355681 https://blog.csdn.net/ygl19920119/article/details/88342523 Dubbo基本原理机制 分布式服务框架: –高性能和透 ...
分类:
其他好文 时间:
2020-11-26 14:10:33
阅读次数:
3
1.docker基本原理 https://www.cnblogs.com/xiaonq/p/10241045.html 2.ubuntu安装docker 2.1 安装docker # 1.卸载旧版本 sudo apt-get remove docker docker-engine docker.io ...
分类:
系统相关 时间:
2020-11-24 13:00:30
阅读次数:
26
基本原理: 通过指针从头节点开始,将该链表的各节点依次接到临时指针的前面,然后返回临时指针所指向的地址。 算法分析: 第一:定义三个指针变量。一个用来存放下一个节点tem;一个用当做临时指针存放提取出来的节点h;一个用来指向该链表的头节点u。 第二:判断下一个节点(tem)是否为空,如果为不为空,则 ...
分类:
编程语言 时间:
2020-11-23 12:14:58
阅读次数:
8
WSGI(Python Web Server Gateway Interface) 为 Web Server 和 Python Web Application 之间提供了标准的数据通道. 是 Python 界的 一个广泛的可用的 WEB API 规范, 使 web server 提供更加规范的 AP ...
分类:
编程语言 时间:
2020-11-23 12:07:14
阅读次数:
9
基本原理: 通过利用队列对每一层的节点从左至右依次进队,然后对已经进队的上一层进行出队,直到所有队列全部出队,该函数结束。 算法分析: 第一,先将根节点的左右孩子进队,然后再访问根节点。(如果没有左右孩子则不进队,直接结束函数) 第二,判断队列是否为空,如果不为空,则进入循环体。 第三,先将出队一个 ...
分类:
编程语言 时间:
2020-11-21 12:47:49
阅读次数:
27
选择排序是一种简单直观的排序算法,其基本原理,对于一组记录的数据,通过第一次比较得到最小的记录,然后将该记录与第一条记录的位置交换;接着对不包含第一个以外的记录进行比较,得到最小记录并与第二个记录进行位置交换;重复该过程,知道进行比较的记录只有一个时为止。 以数组 {38,65,97,76,13,2 ...
分类:
编程语言 时间:
2020-11-20 11:27:23
阅读次数:
5
介绍 Prometheus 的基本原理是通过 HTTP 周期性抓取被监控组件的状态。 任意组件只要提供对应的 HTTP 接口并且符合 Prometheus 定义的数据格式,就可以接入 Prometheus 监控。 Prometheus Server 负责定时在目标上抓取 metrics(指标)数据并 ...
分类:
编程语言 时间:
2020-11-19 12:40:35
阅读次数:
8
一、背景在早期从MySQL到TiDB实施同步操作过程中,我们大多数用的是mydumper+loader进行整体全量备份的导出,之后拿到meta信息后,通过syncer实现增量同步,整体操作起来比较麻烦,涉及的配置文件较多,其基本原理就是Syncer通过把自己注册为一个MySQLSlave的方式,和MySQLMaster进行通信,然后不断读取MySQLBinlog,进行BinlogEvent解析,规
分类:
数据库 时间:
2020-11-17 12:42:38
阅读次数:
15
架构师口中的混沌工程,究竟用来解决什么问题导读:混沌工程,翻译自国外的ChaosEngineering,在Netflix以及最近的一些技术大会得到了广泛关注,本文介绍了混沌工程的一些基本原理。Netflix不仅是一家互联网视频平台,它也提出了一系列混沌工程的基本原则。混沌工程这个词可能听起来不是那么清晰,但它实际上是一种提高技术架构弹性能力的复杂技术手段。这篇文章旨在解释混沌工程是什么以及它是如何
分类:
其他好文 时间:
2020-11-06 01:04:46
阅读次数:
14