1.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 ...
分类：
其他好文 时间：
2021-03-02 12:28:59
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于 ...
分类：
其他好文 时间：
2021-03-02 12:10:47
阅读次数：
0
ZeroMQ是云计算时代最好的通讯库 为什么一个通讯的库不提供socket的风格，反而看起来像是一个并行的库？ 云计算不就是分布式计算嘛！ 并行、多核、分布式，让计算能力不断的被扩展扩展，让数据不断地被分区分区，强大的计算能力就是这样堆出来的。 并发是目前云计算这个世界的主题，所以ZMQ提供了一个并 ...
分类：
其他好文 时间：
2021-01-07 12:23:26
阅读次数：
0
一、基本特征 1. 并发 并发是指宏观上在一段时间内能同时运行多个程序，而并行则指同一时刻能运行多个指令。 并行需要硬件支持，如多流水线、多核处理器或者分布式计算系统。 操作系统通过引入进程和线程，使得程序能够并发运行。 2. 共享 共享是指系统中的资源可以被多个并发进程共同使用。 有两种共享方式： ...
分类：
其他好文 时间：
2020-12-19 13:01:41
阅读次数：
2
可靠的分布式计算系统和应用程序已成为杰出业务的基石，尤其是在自动化和管理关键任务业务流程以及向客户提供服务方面。作为这些系统和应用程序的开发人员和系统管理员，您应该提供各种信息技术（IT）解决方案，以确保您拥有最高效的系统。这包括为系统/应用程序性能，可靠性，可用性和可伸缩性设计，测试和实施策略等任务，以为最终用户提供令人满意的服务水平。缓存是您可以依赖的许多非常基本但有效的应用程序交付技术之一。
分类：
系统相关 时间：
2020-11-07 15:35:43
阅读次数：
33
不知道大家面试的时候有没有这种感觉：面试官通常会在短短两小时内对面试者的知识结构进行全面了解，面试者在回答问题时如果拖泥带水且不能直击问题的本质，则很难充分表现自己，最终影响面试结果。针对这种情况，一位阿里资深架构师总结了Java程序员面试中常见的微服务、网络编程、分布式存储和分布式计算等必备知识点 ...
分类：
编程语言 时间：
2020-10-18 09:47:06
阅读次数：
23
前言 面试常常被要求「熟悉分布式技术」，当年搞 “XXX管理系统” 的时候，我都不知道分布式系统是个啥。分布式系统是一个硬件或软件组件分布在不同的网络计算机中上，彼此之间仅仅通过消息传递进行通信和协调的系统。 计算机系统从集中式到分布式的变革伴随着包括分布式网络、分布式事务、分布式数据一致性等在内的 ...
分类：
其他好文 时间：
2020-09-23 23:05:47
阅读次数：
32
https://mp.weixin.qq.com/s/mn8xX2VExtZws9t6KVbXKABy超神经场景描述：在算力不够的年代，计算机不足以应对拥有海量数据的天文任务，为了对天文数据进行有效的处理，从中寻找出外星文明可能存在的踪迹，科学家发起了一场全民提供CPU的项目SETI@home，而今天这个项目也完成了自己的历史使命。关键词：SETI@home分布式计算外星人前阵子，英伟达号召全球游
分类：
其他好文 时间：
2020-09-18 02:37:08
阅读次数：
36
最近几年微服务很火，大家都在建设微服务，如果不懂点微服务相关的技术，都不好意思跟同行打招呼了，也见过身边很多人在微服务踩过很多坑，我从 16 年开始接触微服务，有多家大型企业的微服务分布式系统的架构经验，所以就打算跟大家做一期关于微服务的分享，不过微服务和涉及的分布式计算非常的复杂，绝非是一篇文章就 ...
分类：
其他好文 时间：
2020-09-18 00:34:11
阅读次数：
30
介绍 不论MapReduce还是RDD，shuffle都是非常重要的一环，也是影响整个程序执行效率的主要环节，但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗，将各个节点的同一类数据汇集到某一个节点进行计算，为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类：
其他好文 时间：
2020-09-17 19:31:45
阅读次数：
30
