安装准备 Spark 集群和 Hadoop 类似，也是采用主从架构，Spark 中的主服务器进程就叫 Master（standalone 模式），从服务器进程叫 Worker Spark 集群规划如下： node-01：Master node-02：Worker node-03：Worker 安装步 ...
分类：
其他好文 时间：
2021-05-24 17:07:05
阅读次数：
0
由于之前已经搭建好了，今天是看视频回顾下，然后做下记录。 之前已经搭建好了Yarn集群，现在在Yarn集群上搭建spark。 1、安装spark 下载源码包：wget http://mirror.bit.edu.cn/apache/spark/spark-1.3.0/spark-1.3.0.tgz ...
分类：
其他好文 时间：
2021-01-01 12:18:40
阅读次数：
0
无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优和linux常见面试题 ...
分类：
系统相关 时间：
2020-10-20 16:23:11
阅读次数：
36
发现spark集群重启突然异常无法正常提供服务，两个master都没有人正常起来提供服务,不是防火墙规则导致的，不是因为更改端口导致的1.异常情况：spark-master报错：20/07/1616:52:35WARNClientCnxn:Session0x57355eb34540d0cforserverhadoop5/"ip":7072,unexpectederror,clo
分类：
数据库 时间：
2020-07-17 01:17:59
阅读次数：
135
1. 背景描述和需求 数据分析程序部署在Docker中，有一些分析计算需要使用Spark计算，需要把任务提交到Spark集群计算。 接收程序部署在Docker中，主机不在Hadoop集群上。与Spark集群网络互通。 需求如下 1、在Docker中可程序化向Spark集群提交任务 2、在Docker ...
分类：
其他好文 时间：
2020-07-03 19:06:43
阅读次数：
62
本文始发于个人公众号：TechFlow，原创不易，求个关注 上次给大家推荐了免费的spark集群之后，就有很多小伙伴来问我有没有好的云GPU平台推荐。我一直没给大家推荐，主要原因是我常年使用Mac，对GPU配置了解不深，不过云GPU平台我倒是用过几个，今天就和大家来简单聊聊。 Colab 首先来介绍 ...
分类：
其他好文 时间：
2020-06-12 20:36:39
阅读次数：
165
安装前准备： 1.3台主机 2.安装jdk 3.免密登陆 开始安装spark 1.解压安装包 tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz 2.修改配置文件 cd conf cp spark-env.sh.template spark-env.shcp slaves ...
分类：
其他好文 时间：
2020-04-19 00:31:12
阅读次数：
85
一、前提条件 1、3台虚拟机，java1.8环境配置，hadoop-2.7.7集群搭建(参见https://www.cnblogs.com/yangy1/p/12362565.html，以及https://www.cnblogs.com/yangy1/p/12367462.html中的横向扩容) 2 ...
分类：
其他好文 时间：
2020-04-17 00:28:41
阅读次数：
83
一、前提条件 1.1创建3台虚拟机，且配置好网络，建立好互信。 1.2 Java1.8环境已经配置好 1.3 Hadoop2.7.7集群已经完成搭建，具体参见我的博客https://www.cnblogs.com/theyang/p/12363276.html 1.4 Scala软件包和Spark软 ...
分类：
其他好文 时间：
2020-04-17 00:23:32
阅读次数：
85
