概述 1、MapReduce 中，mapper 阶段处理的数据如何传递给 reducer 阶段，是 MapReduce 框架中 最关键的一个流程，这个流程就叫 Shuffle 2、Shuffle: 数据混洗 ——（核心机制：数据分区，排序，局部聚合，缓存，拉取，再合并 排序） 3、具体来说：就是将 ...
分类：
其他好文 时间：
2018-03-24 16:27:52
阅读次数：
172
进入到第六章了，我们要开始聊聊分布式系统之中的核心问题： 数据分区 。分布式系统通常是通过大规模的数据节点来处理单机没有办法处理的海量数据集，因此，可以将一个大型数据集可以分布在多个磁盘上，查询负载可以分布在多个处理器上。在这一章中，我们首先讨论划分大型数据集的不同方法，并观察数据索引如何与分区交互 ...
分类：
移动开发 时间：
2018-02-10 18:56:33
阅读次数：
205
核心知识点： 1.CAP原理 a.数据的可用：保证数据不丢失 b.数据的一致性：是否能提供一致性的数据 c.分区耐久性：随着数据量的增加，满足跨网络请求 对许多网站而言，数据是最宝贵的物质资产，硬件可以购买，软件可以重写， 但是多年运营沉淀下来的各种数据（用户数据、交易数据、商品数据.......） ...
分类：
其他好文 时间：
2018-01-30 12:11:47
阅读次数：
136
背景 ??? ? ?当前市面上大部分的云服务器产品，在购买Linux服务器并启动后，通常只帮我们挂载了系统盘到/目录。我们所购买的数据盘目录并没有帮我们挂载到系统。查看内存配置，一般swap也为0。? ? 这里我们可以利用购买的数据盘来创建swap分区与数据分区，并将他们挂载到系统中去。操作?1，查看当前的磁盘，如下，
分类：
其他好文 时间：
2018-01-25 16:52:10
阅读次数：
205
一、环境操作系统版本：centos7.2操作系统内核：4.8.4系统工具：yum数据分区（200G容量以上）：/data启用端口：8300、8301、8302、8500、8600二、下载安装文件下载安装文件：wgethttps://releases.hashicorp.com/consul/0.9.2/consul_0.9.2_linux_amd64.zip三、解压安装文件unzipconsul_
分类：
其他好文 时间：
2018-01-25 11:09:47
阅读次数：
287
一、环境要求操作系统版本：centos7.2操作系统内核：4.8.4系统工具：yum数据分区（200G容量以上）：/data默认启用端口：4646、4647、4648二、下载安装文件wgethttps://releases.hashicorp.com/nomad/0.6.1/nomad_0.6.1_linux_amd64.zip三、解压安装文件unzipnomad_0.6.1_linux_amd6
分类：
其他好文 时间：
2018-01-25 11:02:28
阅读次数：
269
存储 将应用以及相关的数据统一放置于数据目录 /data 内。 使用阿里云的话，应添置独立数据磁盘，如果是独立服务器，应单独设置数据分区。禁止将应用放置于服务器的系统磁盘内。 目录设置 在/data下面分别设置 logs apps conf 三个基本目录。 /data/logs 用来存储跟应用相关的 ...
分类：
其他好文 时间：
2018-01-11 16:02:50
阅读次数：
252
故障现象：一台P550 AIX系统主机，启动后发现数据分区没有挂载上，手动挂载提示如下错误#mount /dataReplaying log for /dev/lv_tdprd_bak.mount: 0506-324 Cannot mount /dev/lv_tdprd_bak on /data: The media is not formatted or the form
分类：
其他好文 时间：
2017-12-26 11:56:08
阅读次数：
684
一台P595 AIX系统主机，启动后发现数据分区没有挂载上，手动挂载提示如下错误…… 一台P595 AIX系统主机，启动后发现数据分区没有挂载上，手动挂载提示如下错误: #mount /data Replaying log for /dev/lv_tdprd_bak.mount: 0506-324 Cannot mount /dev/lv_tdprd_ba
分类：
其他好文 时间：
2017-12-21 11:53:45
阅读次数：
267
磁盘要想使用，需要做哪些工作？ 1. 分区 2. 格式化 什么是格式化？ 写入文件系统，顺便清空数据 分区有哪些类型？ 主分区、扩展分区、逻辑分区 对于一块硬盘， 主 + 扩 <= 4 , 其中一个主分区可以用一个扩展分区替代，最多只有一个扩展分区 主分区 + 扩展分区 编号 1-4， 逻辑分区从5 ...
分类：
系统相关 时间：
2017-11-21 20:44:41
阅读次数：
243
