一.运行架构 1.架构 基于yarn模式 0) Flink任务提交后，Client向HDFS上传Flink的Jar包和配置 1) 向Yarn ResourceManager提交任务， 2) ResourceManager分配Container资源，Yarn通知NodeManager启动Applica ...
分类：
其他好文 时间：
2020-09-18 03:25:46
阅读次数：
38
Redis 为什么要用Nosql 大数据时代；一般的数据库无法分析处理！ 1、单机MySQL的年代! 90年代 一个基本的网站访问量一般不会太大，单个数据库足够用！（静态网站HTML） 数据量如果太大、一个机器放不下、 数据的索引 300万 建立索引、一台机器内存放不下 访问量（读写混合）服务器承受 ...
分类：
其他好文 时间：
2020-09-18 03:19:42
阅读次数：
32
1、阻塞IO模型 传统的IO模型，即在数据读写的过程中会发生阻塞现象。当用户线程发出IO请求之后，内核回去查看数据是否就绪，如果没有就绪就等待数据就绪，而用户线程就会处于阻塞状态，用户线程交出CPU。当数据就绪之后，内核会将数据拷贝到用户线程，并返回数据给用户线程，用户线程才解除阻塞状态。典型的阻塞 ...
分类：
编程语言 时间：
2020-09-18 03:12:36
阅读次数：
41
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 以下文章来源于碧茂大数据 ，作者碧茂大数据 读写锁实际是一种特殊的自旋锁，它把对共享资源的访问者划分成读者和写者，读者只对共享资源进行读访问，写者则需要对共享资源进行写操作。 Python 提 ...
分类：
编程语言 时间：
2020-09-18 02:58:02
阅读次数：
38
HDFS个人数据存储的核心--分布式+共享存储5G时代得到来，大数据存储迅速暴涨，个人存储市场的存量不断扩大，同时增量也在快速增长，预计每年个人产生的数据会有20%的复合增长率，每年的会释放数十亿美元产值的数据存储市场增量。关于接下来的个人数据存储市场发展的方向，不仅仅是一个经济问题而且更加是互联网世界“个人主权”的问题，是隐私、安全、便捷等各种因素的集合，往大了说如果个人数据的问题得不到突破性的
分类：
其他好文 时间：
2020-09-18 02:37:28
阅读次数：
36
来点通俗易懂的，服务器就是你家汽车，网络就是高速公路，网速就是车速服务器的性能影响着车开得快不快。(ke+Vchenchen1342359)比如运算速度，传输速度这个直接影响着每毫秒可以处理多少数据，这个就类似你插个U盘进电脑，读写速度。网络宽带的大小意味着高速公路有多少条道。网络速度决定了道路的质量，比如柏油路，水泥路，黄泥路这个基本上不考虑目前都是光纤光纤的质量差别并不会很大，所以服务器和带宽
分类：
其他好文 时间：
2020-09-18 02:29:01
阅读次数：
37
1.缓存的收益与成本 收益 加速读写 降低后端负载 后端服务器通过前端缓存降低负载，业务端使用Redis降低后端MySql等数据库负载 成本 数据不一致：缓存层和数据层有时间窗口不一致，和更新策略有关 代码维护成本增大：多了一层缓存逻辑 运维成本：例如Redis Cluster 2.缓存更新策略 L ...
分类：
其他好文 时间：
2020-09-18 01:33:06
阅读次数：
26
5G时代面临数据暴增，HDFS将解决数据存储的燃眉之急随着互联网5G的到来，快速化推动AI人工智能、智能家居、人类生活的智能化、无人驾驶、AR、高清直播等新兴领域的高速发展，5G时代面临数据暴增，如何解决存储难题及如何降低数据的存储成本成为世界关注的焦点，分布式存储无疑是时代最大的风口。在大趋势的驱动之下，从前两年开始分布式存储项目便不断涌现，但真正能够做到落地应用，并规模发展越来越大的项目却寥寥
分类：
其他好文 时间：
2020-09-18 00:28:27
阅读次数：
46
1.python中read,readline,readlins区别read():每次读取整个文件，.read()生成的内容是一个字符串变量readline():每次只读文件的一行内容，返回str类型readlnes():读取文件所有内容，将返回值存入列表，返回list总结：.read()每次读取整个文件，它通常用于将文件内容放到一个字符串变量中。然而.read()生成文件内容最直接的字符串表示，但
分类：
编程语言 时间：
2020-09-18 00:10:59
阅读次数：
34
5G时代面临数据暴增，HDFS将解决数据存储的燃眉之急随着互联网5G的到来，快速化推动AI人工智能、智能家居、人类生活的智能化、无人驾驶、AR、高清直播等新兴领域的高速发展，5G时代面临数据暴增，如何解决存储难题及如何降低数据的存储成本成为世界关注的焦点，分布式存储无疑是时代最大的风口。在大趋势的驱动之下，从前两年开始分布式存储项目便不断涌现，但真正能够做到落地应用，并规模发展越来越大的项目却寥寥
分类：
其他好文 时间：
2020-09-17 23:40:50
阅读次数：
33
