前文已经给出1.3.0gpu版本的编译及安装，本文在此基础上进行分布式组件的安装，前文信息参看： 国产计算框架mindspore在gpu环境下编译分支r1.3，使用suod权限成功编译并安装，成功运行——（修复部分bug，给出具体编译和安装过程）—— 第一部分：依赖环境的安装 国产计算框架minds ...
分类：
其他好文 时间：
2021-07-27 17:33:28
阅读次数：
0
一、大数据的基本特征（4V,存储单位） 二、大数据对思维方式的影响 三、Google 三辆马车是什么？ Google的文件系统GFS（Google File System）、分布式计算框架MapReduce、Bigtable 四、Hadoop 是什么，基本特征 基本特征： 五、Hadoop 生态系统 ...
分类：
其他好文 时间：
2021-06-28 18:27:13
阅读次数：
0
分布式技术的体系结构 横向划分：分布式资源池化、分布式通信、分布式数据存储与管理、分布式计算。这样的划分符合业务架构设计的一般规律，即"在一定资源上，进行一定通信，通过一定计算，完成一定数据的加工和处理，从而对外提供特定的服务"。这样的划分符合业务架构设计的一般规律，即"在一定资源上，进行一定通信， ...
分类：
其他好文 时间：
2021-06-15 18:29:45
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-06-07 20:05:58
阅读次数：
0
Actor模型的理念： 所有对象皆是Actor，Actor之间仅通过Message Passing来通信，所有操作都是异步的，使得整个系统获得大规模的并发能力。 Actor消息内容，一般包括几个主要属性： source：发送方 subject：主题，表明消息类型。 data：消息内容。 Actor收 ...
分类：
其他好文 时间：
2021-06-06 19:34:39
阅读次数：
0
@ 前言-MR概述 MapReduce是一个分布式计算框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。主要由两部分组成：编程模型和运行时环 境。其中，编程模型为用户提供了非常易用的编程接口，用户只需要像编写串行程序 一样实现几个简单的函数即可实现一个分布式程序，而其他比较复杂的工作，如 ...
分类：
其他好文 时间：
2021-06-02 19:46:24
阅读次数：
0
#Hadoop 分布式计算平台，同时也是一个生态圈 hadoop 1.X HDFS+MapReducer+Common hadoop 2.X HDFS+MAP+Reducer+Common hadoop 3.X java7->java8，引入纠删码，重写shell脚本，支持超过两个NameNode， ...
分类：
其他好文 时间：
2021-04-27 15:04:12
阅读次数：
0
什么是RPC 维基百科是这么定义RPC的： 在分布式计算，远程过程调用（英语：Remote Procedure Call，缩写为 RPC）是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一个地址空间（通常为一个开放网络的一台计算机）的子程序，而程序员就像调用本地程序一样，无需额外地为这个 ...
分类：
其他好文 时间：
2021-04-19 15:07:49
阅读次数：
0
计算机网络定义：由自主计算机互联起来的集合体 自主：每个个体完整地实现计算机的各种功能 互联 集合体 辨析： 主从式计算机系统：有个大哥管所有终端，终端不自主 分布式计算机系统：有个管理员管理资源，整个大网络像一个计算机系统 组成：硬件+软件+协议 硬件角度分析： 网络范围：LAN MAN WAN ...
分类：
其他好文 时间：
2021-04-16 12:12:44
阅读次数：
0
ZooKeeper 是 Apache 软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper 的架构通过冗余服务实现高可用性。 Zookeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简 ...
分类：
其他好文 时间：
2021-03-15 11:00:34
阅读次数：
0
