Data Serialization 对spark程序来说,可能会产生的瓶颈包括:cpu,网络带宽,内存 在任何分布式应用中数据序列化都非常重要,数据序列化带来的作用是什么?第一减少内存占用,第二减小网络传输带宽消耗。spark提供了两种序列化方式: 1.Java serialization 默认情 ...
分类:
其他好文 时间:
2019-12-17 15:01:16
阅读次数:
86
什么是centos: CentOS是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS替代商业版的Red HAT Enterprise Linux使用。两者的不同 ...
分类:
其他好文 时间:
2019-12-17 13:24:39
阅读次数:
88
方法一:使用淘宝定制的cnpm命令行工具替代默认安装npm npm install -g cnpm --registry=https://registry.npm.taobao.org 方法二:将npm默认的下载地址修改为淘宝镜像 npm cofig set registry https://reg ...
分类:
其他好文 时间:
2019-12-16 22:47:01
阅读次数:
144
stream中有很多方法,讲一些常用的。 1.forEach(),遍历方法,很简单,对于一般的遍历可以替代for循环 List<String> strings = Arrays.asList("abc", "", "bc", "efg", "abcd","", "jkl"); strings.str ...
分类:
其他好文 时间:
2019-12-16 16:19:38
阅读次数:
94
(整理自《鸟哥的Linux私房菜》基础篇) 1.Linux 的账号与群组 1.1 使用者标识符: UID 与 GID 每个登入的使用者至少都会取得两个 ID ,一个是使用者 ID (User ID ,简称 UID)、一个是群组 ID (Group ID ,简称 GID)。当我们有要显示文件属性的需求 ...
分类:
系统相关 时间:
2019-12-15 18:51:52
阅读次数:
111
### Ubuntu18下docker安装 * step 1: 安装必要的一些系统工具 sudo apt-get update sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-c ...
分类:
系统相关 时间:
2019-12-15 18:17:28
阅读次数:
95
1.Date类为可变的,在多线程并发环境中会有线程安全问题。 (1)可以使用锁来处理并发问题。 (2)使用JDK8 Instant 替代。 2.Calendar的子类为可变的,在多线程并发环境中会有线程安全问题。 (1)可以使用锁来处理并发问题。 (2)使用JDK8 LocalDateTime 替代 ...
分类:
编程语言 时间:
2019-12-14 09:31:12
阅读次数:
92
1、概述 1.1、jdk5之前,用于 调节共享对象访问机制 只有 synchronized、volatile; jdk5之后,提供了 显示锁:Lock、ReentrantLock...; 显式锁 并不是 内部锁机制 的替代,而是 当内部锁被证明受到局限时,提供可选择的高级特性; 1.2、 ...
分类:
编程语言 时间:
2019-12-13 12:05:47
阅读次数:
87
如今做Java尤其是web几乎是避免不了和Spring打交道了,但是Spring是这样的大而全,新鲜名词不断产生,学起来给人一种凌乱的感觉,我就在这里总结一下,理顺头绪。 Spring Spring 概述 Spring 是一个开源框架,是为了解决企业应用程序开发复杂性而创建的(替代更加重量级的企业级 ...
分类:
编程语言 时间:
2019-12-13 09:26:59
阅读次数:
83
1.eslint 1.1说明 1)ESLint是一个代码规范检查工具 2)它定义了很多特定的规则,一旦你的代码违背了某一规则,eslint会做出非常有用的提示 3)官网:http://eslint.org/ 4)基本已替代以前的JSLint 1.2 ESLint提供一下支持 1) ES 2) JSX ...
分类:
其他好文 时间:
2019-12-13 09:20:17
阅读次数:
82