Spark on K8S 的几种模式 Standalone：在 K8S 启动一个长期运行的集群，所有 Job 都通过 spark-submit 向这个集群提交 Kubernetes Native：通过 spark-submit 直接向 K8S 的 API Server 提交，申请到资源后启动 Pod ...
分类：
Web程序 时间：
2020-07-14 09:25:00
阅读次数：
89
首先创建好项目工程，如下图：完善pom.xml文件，具体为：（依据自己的spark版本做修改）<dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.11.
分类：
其他好文 时间：
2020-07-14 09:21:08
阅读次数：
78
本文主要讲了Redis的持久化相关功能，持久化一直是影响Redis性能的高发地，也是面试中经常被问到的。包括RDB相关的特定和优缺点，AOF的优缺点，事实上，由于RDB的数据实时性问题，目前用AOF比较多了。而持久化恢复也是优先AOF。RDB是旧的模式，现在基本上都使用AOF。当然，两个都会一起说到。RDBRDB流程图RDB特点RDB是一种快照模式，即——保存的是keyvalue数据内容。RDB有
分类：
其他好文 时间：
2020-07-14 09:18:45
阅读次数：
86
https://blog.csdn.net/u013469753/article/details/106688892 1、编写脚本,显示进度条 #!/bin/bash # 编写脚本,显示进度条 myProgress(){ while : do echo -n '#' sleep 0.2 done } ...
分类：
系统相关 时间：
2020-07-14 00:43:26
阅读次数：
91
Spark 源码解读（一）SparkContext的初始化之TaskScheduler的启动 TaskScheduler创建完成之后，需要调用start()方法才可以生效，SparkContext的代码如下： _taskScheduler.start() TaskScheduler在启动的时候，实际 ...
分类：
其他好文 时间：
2020-07-14 00:25:58
阅读次数：
81
备注： 本文参考于廖雪峰老是的博客Git教程。依照其博客进行学习和记录，感谢其无私分享，也欢迎各位查看原文。 知识点 ssh-keygen -t rsa -C "youremail@example.com"生成SSh密钥对。私钥保存好，公钥可以添加到Git服务器（如GitHub远程仓库） 添加或关联 ...
分类：
其他好文 时间：
2020-07-13 21:42:20
阅读次数：
127
以前一直觉得export可有可无，虽然知道export是干嘛的，不就是把本地变量变成全局变量么（实际中叫环境变量），但是感觉好像没有这货也没影响，今天看了这篇博文，终于恍然大悟。用自己的语言，思维方式重新整理一遍 首先说明两个概念：父shell与子shell，从shellA中启动一个shell，称之 ...
分类：
系统相关 时间：
2020-07-13 18:37:04
阅读次数：
96
数据算法 Hadoop Spark大数据处理技巧 ...
分类：
编程语言 时间：
2020-07-13 18:11:22
阅读次数：
80
tophua/spark-machine-learning-book Spark机器学习书代码 25 Jupyter Notebook Updated on 22 Dec 2017 zengxiaosen/eshop 电商+大数据+spark机器学习 11 Java Updated on 5 Dec ...
分类：
其他好文 时间：
2020-07-13 18:02:05
阅读次数：
74
水平有限，本文仅以流水账的方式 介绍自己 安装 三款软件 的过程。 环境Ubuntu on 虚拟机： $ cat /proc/version Linux version 4.15.0-54-generic (buildd@lgw01-amd64-014) (gcc version 7.4.0 \(U ...
分类：
其他好文 时间：
2020-07-13 13:14:44
阅读次数：
63
