发现spark集群重启突然异常无法正常提供服务，两个master都没有人正常起来提供服务,不是防火墙规则导致的，不是因为更改端口导致的1.异常情况：spark-master报错：20/07/1616:52:35WARNClientCnxn:Session0x57355eb34540d0cforserverhadoop5/"ip":7072,unexpectederror,clo
分类：
数据库 时间：
2020-07-17 01:17:59
阅读次数：
135
1.什么是Faker 在编写程序过程中，我们常常需要用到很多数据来进行测试。如果要是手动制造数据的话，肯定要花费大把精力，这不合理。此时我们应该使用Faker这个Python库，用它来生成各种各样的伪数据。 Faker是一个Python包，开源的GITHUB项目，主要用来创建伪数据，使用Faker包 ...
分类：
编程语言 时间：
2020-07-17 01:14:43
阅读次数：
238
一、在生产环境中，我们k8s集群需要多master实现高可用，所以下面介绍如何通过kubeadm部署k8s高可用集群（建议生产环境master至少3个以上） 二、master部署： 1、三台maser节点上部署etcd集群 2、使用VIP进行kubeadm初始化master 注意：本次是通过物理服务 ...
分类：
其他好文 时间：
2020-07-16 21:02:50
阅读次数：
46
代码 https://github.com/smallinsect/MyGo/tree/master/myjson MyUsers.json文件内容 { "name": "小昆虫", "age": 2233, "account_id": "2222222aaaaa", "password": "** ...
分类：
Web程序 时间：
2020-07-15 22:56:01
阅读次数：
155
Task:知道commit号，如何checkout 指定版本 1. 切换到master: git checkout master 2. 下载最新代码: git pull 3. 下载head： git checkout HEAD 4. 查看log找到需要的版本: git log 5. 根据header ...
分类：
其他好文 时间：
2020-07-15 22:44:08
阅读次数：
88
一.首先在slave机上下载git: yum instal git 二、在git hub或者git lab上注册账号，建立自己的git 仓库： 在slave机上使用：git clone xxxx 下载到自己的系统下： 在该文件下新建：一个isaacTest分支，在分支中加入要运行的脚本，提交分支； ...
分类：
其他好文 时间：
2020-07-15 15:31:24
阅读次数：
83
1- Kubernetes对软件和硬件的系统要求 软硬件 最低配置 推荐配置 CPU|内存 Master: 2cores|4GNode：4cores|16G master: 4cores|16GNode: 根据需要运行的容器数量进行配置 Linux系统 CentOS,redhat,ubuntu,Fe ...
分类：
Web程序 时间：
2020-07-15 15:22:17
阅读次数：
90
在gitee上创建新仓库，复制仓库地址 在本地项目文件夹中，打开git bash命令行 git init提交代码 git add .git commit -m 'first commit'添加远程仓库 git remote add origin 远程地址代码推到远程 git push origin ...
分类：
其他好文 时间：
2020-07-15 12:46:04
阅读次数：
111
260 Single Number III Given an array of numbers nums, in which exactly two elements appear only once and all the other elements appear exactly twice. ...
分类：
其他好文 时间：
2020-07-14 21:54:31
阅读次数：
104
1、Master 最好不要写内存快照，如果 Master 写内存快照，save 命令调度 rdbSave 函数，会阻塞主线程的工作，当快照比较大时对性能影响是非常大的，会间断性 暂停服务 2、如果数据比较重要，某个 Slave 开启 AOF 备份数据，策略设置为每秒同步一 3、为了主从复制的速度和连 ...
分类：
其他好文 时间：
2020-07-14 21:53:09
阅读次数：
87
