@ Hadoop RPC 框架解析 网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信(Inter-Process Communication, IPC)逻辑,是所有分布式系统的基础。远程过程调用(Remote Procedure Call, RPC)是一种常用的分 ...
分类:
其他好文 时间:
2021-06-02 19:49:37
阅读次数:
0
@ 前言-MR概述 MapReduce是一个分布式计算框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。主要由两部分组成:编程模型和运行时环 境。其中,编程模型为用户提供了非常易用的编程接口,用户只需要像编写串行程序 一样实现几个简单的函数即可实现一个分布式程序,而其他比较复杂的工作,如 ...
分类:
其他好文 时间:
2021-06-02 19:46:24
阅读次数:
0
When the manager tries to change the policy or method, some members will produce resistance reaction, and the older the employee is, the stronger the ...
分类:
其他好文 时间:
2021-06-02 19:04:54
阅读次数:
0
集群网络配置 分别设置修改主机名 master slave1 slave2 hostnamectl set-hostname 名字 分别配置/etc/hosts文件 查看openssh和rsync安装 rpm -qa | grep 名字 切换到Hadoop用户 各节点生成秘钥 ssh-keygen ...
分类:
系统相关 时间:
2021-06-02 15:27:52
阅读次数:
0
docker 安装 yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/d ...
分类:
其他好文 时间:
2021-06-02 15:18:47
阅读次数:
0
5.5 进阶5:分组查询 5.5.1 语法 select 查询的字段,分组函数 from 表 where 筛选条件 group by 分组的字段 having 分组后的字段筛选 order by 子句 5.5.2 使用技巧 分组查询中的筛选条件分为两类 分组前筛选:原始表 group by的前面 w ...
分类:
其他好文 时间:
2021-06-02 15:16:23
阅读次数:
0
docker 安装 yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/d ...
分类:
其他好文 时间:
2021-06-02 14:49:47
阅读次数:
0
1. namespace命名空间 命名空间(Namespace):kubernetes蒋资源对象逻辑上隔离,从而形成多个虚拟集群 应用场景: 根据不同团队划分命名空间 根据项目划分命名空间 kubectl_get namespace default:默认命名空间 kube-system:k8s系统方 ...
分类:
其他好文 时间:
2021-06-02 14:39:41
阅读次数:
0
hadoop 1.0 1. 创建用户hadoop 2. 下载: curl -o hadoop-1.2.1-bin.tar.gz https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz 3. ...
分类:
其他好文 时间:
2021-06-02 14:05:53
阅读次数:
0
一、大数据分析工具——Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop是高效的,因为它 ...
分类:
其他好文 时间:
2021-06-02 13:17:23
阅读次数:
0