标签:https 性能 png 一个 image 元素 hash算法 大小 shc
分治思想:
我有一万个元素,查找其中的一个元素,最简单的遍历方法
复杂度为O(4) (遍历四次),如何实现
准备2500个数组
查找x
补充知识:什么是hash & 什么是hashCode
https://blog.csdn.net/weixin_38405253/article/details/91922340
小案例:https://www.runoob.com/java/java-string-hashcode.html
内存寻址比io寻址快10万倍
计算机除了cpu内存之外都叫IO设备
假设lo速度是500MB每秒,1T文件读取一遍需要约30分钟,找寻操作要进行多次查询好,io限制了计算机的计算能力
hash算法(找重复值):hashCode的值是稳定的,相同的行一定会去到一个小文件里
(文件排序):
先抽取50M文件,抽取xxx份
存储模型(HDFS)文件是一个字节数组
文件按线性字节切割成块(block),具有offset(偏量),id
文件与文件的block大小可以不一样
文件除了最后一个block,其他的block大小是一致的
block的大小依据硬件的I/O特性调整
block被分散存放在集群的节点中,具有location(地址)
Block具有副本,没有主从概念,副本不能出现在同一个节点
副本是满足可靠性和性能的关键
文件上传可以只等block大小和副本数,上传只能修改副本数
一次写入多次读取,不支持修改
支持追加数据
分布式系统那么多,为啥要在开发一个HDFS
HDFS能更好的使用的应用层--》不允许修改,只能增加,删除
这样文件块就不会大量的泛洪 ,不会大量消耗CPU内存性能
标签:https 性能 png 一个 image 元素 hash算法 大小 shc
原文地址:https://www.cnblogs.com/Liguangyang/p/13873256.html