最近经常有小伙伴留言，核心问题都比较类似，就是虽然接触Spark有一段时间了，但是搞不明白一个问题，为什么我从HDFS上加载不同的文件时，打印的分区数不一样，并且好像spark.default.parallelism这个参数时不是一直起作用？其实笔者之前的文章已有相关介绍，想知道为什么，就必须了解S... ...
分类：
其他好文 时间：
2020-11-23 12:25:04
阅读次数：
5
C是一致性，A是可用性，P是分区容错。前两个没什么好说的，主要是P我不太清楚。然后我看文章中最后的证明，有点明白了。分区是指两个服务器之间发送信息失败。而分区容错就是系统允许发生这种两个服务器之间无法传输数据的情况。 也就是说C和A如果算是正面的、好的性质，那么P就是负面的、坏的性质。 那为什么允许 ...
分类：
其他好文 时间：
2020-11-23 12:04:57
阅读次数：
5
原文链接:https://blog.csdn.net/u013256816/article/details/73757884 网络分区的意义 RabbitMQ的模型类似交换机模型，且采用erlang这种电信网络方面的专用语言实现。RabbitMQ集群是不能跨LAN部署（如果要WAN部署需要采用专门的 ...
分类：
其他好文 时间：
2020-11-23 11:58:02
阅读次数：
3
第12章MySQL分区本章学习目标?理解分区的概念?了解分区的类型?了解分区管理MySQL从5.1版本开始支持分区的功能，分区是一种物理数据库设计技术，其主要目的是在特定的SQL操作中，通过减少数据读写的总量来缩减SQL语句的响应时间，同时对于应用来说分区完全是透明的，本章将对MySQL分区详细讲解。12.1分区概述12.1.1分区的概念MySQL数据库中的数据是以文件的形式存在磁盘上，默认放在/
分类：
数据库 时间：
2020-11-23 11:44:11
阅读次数：
11
redis的多机数据库实现，主要分为以下几种： 1.主从复制 2.哨兵模式 3.Redis官方提供的Cluster集群模式（服务端） 4.Jedis sharding集群（客户端sharing） 5.利用中间件代理，比如codis等 其中前三个为服务器端方案，后两个为客户端分区方案，类似于分表分库方 ...
分类：
其他好文 时间：
2020-11-21 12:36:44
阅读次数：
11
1、现象：日志服务器当初考虑不周，分区划分不太合理： 2、目标：将/home磁盘空间缩减 并将新的磁盘分区扩充到/根目录 卸载/home分区并压缩分区 卸载/home时 提示目标忙，fuser -m /home查看谁用/home时提示没有fuser命令 [root@localhost zabbix] ...
分类：
系统相关 时间：
2020-11-21 12:02:35
阅读次数：
15
材料 一个U盘/移动硬盘（最好大一点） VMware Ubuntu18.04镜像文件（比较稳定） 开始 做虚拟机 https://blog.csdn.net/weixin_42533541/article/details/81877207 安装到U盘 将U盘连接到虚拟机 前面的配置 分区 分完上面的 ...
分类：
系统相关 时间：
2020-11-20 11:33:29
阅读次数：
25
漫画：什么是区块链？点击上方“程序员小灰”，选择“置顶公众号”有趣有内涵的文章第一时间送达！什么是区块链？区块链，英文Blockchain，本质上是一种去中心化的分布式数据库。任何人只要架设自己的服务器，接入区块链网络，都可以成为这个庞大网络的一个节点。区块链既然本质是数据库，里面究竟存储了什么东西呢？让我们来了解一下区块链的基本单元：区块（Block）。一个区块分为两大部分：1.区块头区块头里面
分类：
其他好文 时间：
2020-11-20 11:19:55
阅读次数：
5
内存分区简介 老生常谈的问题了，虽然网上一搜一大把，也很详细，但是我还是想写一写，通过自己的总结整理，加深一下印象。 我不知道学习Java内存分区有什么实际作用，但它就是像常识一样，一个使用Java语言的人不知道内存分区总感觉差点意思。 Java程序是运行在JVM虚拟机上的。Java虚拟机在运行程序 ...
分类：
编程语言 时间：
2020-11-19 12:59:20
阅读次数：
19
1. 产品的架构是数据采集到 kafka，由 flink 读取，送入ES 2. 这个过程中，涉及： kafka分区数，flink并行度，ES 分区数和副本 3. kafka 分区数决定了后面 flink 的并行度，最好是 kafka 的分区数和 flink 的并行度一致 4. 写入 ES 时，需要先 ...
分类：
其他好文 时间：
2020-11-16 14:01:57
阅读次数：
18
