1.结论： —–我们寻常意义的复制就是深复制，即将被复制对象完全再复制一遍作为独立的新个体单独存在。所以改变原有被复制对象不会对已经复制出来的新对象产生影响。 —–而浅复制并不会产生一个独立的对象单独存在，他只是将原有的数据块打上一个新标签，所以当其中一个标签被改变的时候，数据块就会发生变化，另一个 ...
分类：
编程语言 时间：
2020-04-03 20:05:08
阅读次数：
93
Nagle算法 Nagle算法是为了避免网络中存在太多的小包（协议头比例非常大）造成拥塞。Nagle算法就是为了尽可能发送大块数据，避免网络中充斥着许多小数据块。 算法如下：若发送应用进程要发送的数据逐个字节地送到TCP的发送缓存，则发送方就把第一个数据字节先发送出去，把后面到达的数据字节都缓存起来 ...
分类：
其他好文 时间：
2020-03-31 17:32:09
阅读次数：
73
代码片段fromurllib.requestimporturlretrieveimportsocketimportosimportsysdefreporthook(blocknum,bs,size):#blocknum:已经下载的数据块bs:数据块的大小size:远程文件的大小per=100.0*blocknum*bs/sizeifper>100:per=100sys.stdout.writ
分类：
编程语言 时间：
2020-03-31 14:22:47
阅读次数：
99
Input阶段将数据节点上的数据进行反序列化，然后划分切片。 数据切片：（1）一个job的map阶段并行度由客户端在提交job时的切片数决定 （2）每个切片分配一个MapTask并行实例处理 （3）默认情况下，切片的大小等于BlockSize，也就是数据块大小 ...
分类：
其他好文 时间：
2020-03-18 13:37:49
阅读次数：
85
一：DataNode工作机制 （1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度、 快数据的校验和（验证数据完整性）以及时间戳 （2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有 ...
分类：
其他好文 时间：
2020-03-15 22:22:33
阅读次数：
80
前言 概念 块存储、文件存储、对象存储 分布式存储 NAS 网络存储 常见 Volume 类型 awsElasticBlockStore Amazon Elastic Block Store（EBS）是一种易于使用的高性能数据块存储服务。EBS 提供四种不同的卷类型，价位和性能水平各不相同，让您能够 ...
分类：
Web程序 时间：
2020-03-15 20:29:25
阅读次数：
87
1.1.1 安全模式 安全模式是文件系统只读不写的过程，一般在载入旧镜像，执行编辑日志，生成新镜像和空编辑日志文件的过程中。datanode存储数据块列表，namenode存储块的位置信息。datanode定期向namenode发送最新的块列表信息。如果某个块复本数量少于最小复本级别（dfs.nam ...
分类：
其他好文 时间：
2020-03-11 11:08:29
阅读次数：
65
1.1.1 永久性数据结构 namenode的目录结构如下图 （1） VERSION属性文件 namespaceid文件系统命名空间唯一标识。 clusterID是将HDFS集群作为一个整体赋予的唯一标识符。 blockpoolID是数据块池的唯一标识。 CTime是namenode存储系统创建时间 ...
分类：
其他好文 时间：
2020-03-11 10:58:32
阅读次数：
49
1.格式 简化版 帧头 - 长度 - 数据 xx xx - 校验 - 帧尾 复杂版 帧头、地址信息、数据类型、数据长度、数据块、校验码、帧尾 以下文章可供参考：原文链接：https://blog.csdn.net/fangye945a/article/details/84728798 在数据传输时， ...
分类：
其他好文 时间：
2020-03-09 13:44:16
阅读次数：
107
https://nanti.jisuanke.com/t/43388 题意 一共有 m 个队伍（无用数据）， n 块蛋糕，对蛋糕进行 t 次操作 每次操作：给定当前队伍的人数 num ，对当前蛋糕数量 n 进行需求： 如果 n>num，num-=n； 否则，把所有的蛋糕切成两半（即n*=2）之后，再 ...
分类：
其他好文 时间：
2020-03-08 17:52:53
阅读次数：
51
