1、spark的一大特性就是基于内存计算，Driver只保存任务的宏观性的元数据，数据量较小，且在执行过程中基本不变，不做重点分析，而真正的计算任务Task分布在各个Executor中，其中的内存数据量大，且会随着计算的进行会发生实时变化，所以Executor的内存管理才分析的重点。 2、在执行Sp ...
分类：
其他好文 时间：
2020-02-20 19:53:27
阅读次数：
56
1、Redis数据持久化的必要性 由于redis是基于内存的数据库，面临数据掉电易失的风险，要避免数据丢失，最好将内存数据持久化到磁盘等永久存储介质上。服务重启时，会先加载磁盘文件内的数据到内存，完成数据恢复。 2、RDB（RedisDB） 对内存中的redis全量数据进行 时点快照 并序列化，以文 ...
分类：
其他好文 时间：
2020-02-20 19:53:08
阅读次数：
68
1.下载项目 github 地址 https://github.com/ctripcorp/apollo 源代码下载地址 https://github.com/ctripcorp/apollo/releases 源代码下载镜像地址http://github-mirror.bugkiller.org/ ...
Class类文件结构 Java跨平台的基础 各种不同平台的虚拟机与所有平台都统一使用的程序存储格式——字节码（ByteCode）是构成平台无关性的基石，也是语言无关性的基础。Java虚拟机不和包括Java在内的任何语言绑定，它只与“Class文件”这种特定的二进制文件格式所关联，Class文件中包含 ...
分类：
其他好文 时间：
2020-02-20 19:52:29
阅读次数：
83
1、创建索引 create index 索引名 on 表名(列名);12、删除索引 drop index 索引名;13、创建组合索引 create index 索引名 on 表名(列名1,,列名2);14、查询索引 --根据索引名，查询表索引字段select * from user_ind_colu ...
分类：
数据库 时间：
2020-02-20 18:46:30
阅读次数：
100
The Promise.allSettled() method accepts an array (or any other iterable) of promises as a parameter. It returns a Promise object that is fulfilled wit ...
分类：
编程语言 时间：
2020-02-20 18:45:55
阅读次数：
87
对比os模块的函数和shutil模块中包含的函数，会发现它们有一些重复。那么为什么会存在两个模块提供相同功能的情况呢？这就涉及到了标准库模块的定位问题了。os模块是对操作系统的接口进行封装，主要作用是跨平台，shutil模块包含复制、移动、重命名、删除文件目录以及压缩包的函数，主要作用是管理文件和目录，因此它们并不冲突，并且是互补的关系，对于常见的文件操作，shutil更易于使用。在shutil里
分类：
编程语言 时间：
2020-02-20 18:44:44
阅读次数：
100
public static void main(String[] args) { // 创建一个原始的二维数组 9*9 int chessArr1[][] = new int[9][9]; // 0表示没有棋子，1表示黑子，2表示白子 chessArr1[1][2] = 1; chessArr1[2 ...
分类：
编程语言 时间：
2020-02-20 18:44:25
阅读次数：
77
jenkins构建重新部署时脚本： #!/bin/bash app=auth jar_pid=`ps -ef|grep -v grep | grep 'java -jar e-$app-controller-1.0-SNAPSHOT.jar'|awk '{ print $2 }'` echo $ja ...
分类：
系统相关 时间：
2020-02-20 18:43:44
阅读次数：
205
文章选自我的博客：https://blog.ljyngup.com/archives/267.html/ 再次祭出神奇的Github 这次给大家介绍的是一款神奇的图片压缩软件，以质量的微小损失换取大量的存储空间 一、为什么要压缩图片？ 像我们这样的个人独立博客，服务器的配置大多不高，带宽也就1M,想 ...
分类：
其他好文 时间：
2020-02-20 18:43:28
阅读次数：
106
在多数的运维工作中，我们除了要关注系统资源的使用率也要关注应用服务的健康状况，从而确保系统可以持续的对外提供服务。那么我们如何使用Azure Monitor来监控服务的健康状况呢。监视Windows和Linux服务的最佳选择之一是利用Azure自动化中的变更跟踪解决方案。
分类：
其他好文 时间：
2020-02-20 18:42:50
阅读次数：
220
1、硬件方面普通的一个p4的服务器每天最多能支持大约10万左右的IP，主要影响服务器的速度有：网络-硬盘读写速度-内存大小-cpu处理速度。 2、软件方面静态页面前台实现完全的静态化当然最好，可以完全不用访问数据库 数据库优化表字段优化语句优化索引优化分库分表读写分离 3、禁止外部的盗链外部盗链往往 ...
分类：
Web程序 时间：
2020-02-20 18:42:16
阅读次数：
104
并发编程之多进程 进程理论 进程 进程：正在运行的一个过程或一个任务。负责执行任务的是cpu。 程序与进程的区别：程序只是一堆代码，而进程指的是程序的运行过程。 注意同一个程序执行两次，是两个进程。比如打开两个QQ，登陆的是不同人的QQ号。 并行与并发 无论是并行还是并发，在用户看来都是'同时'运行 ...
分类：
其他好文 时间：
2020-02-20 18:41:59
阅读次数：
67
RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中。 但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD的计算结果将会被缓存在计算节点的内存中，并供后面重用。 示例如下： d ...
分类：
其他好文 时间：
2020-02-20 18:41:28
阅读次数：
74
程序的最大魅力可能就是循环，循环也是所有编程开发者使用最频繁的语句。如果想要同样的操作执行多次,，就需要使用循环结构。Java中有三种主要的循环结构：while循环do…while循环for循环while循环while(//如果条件成立){//执行循环}Java代码例子inti=0;while(i<10){System.out.println(i);i=i+1;}输出0123456789do
分类：
编程语言 时间：
2020-02-20 18:41:07
阅读次数：
92
中小企业各岗位都在提倡高效率办公，其中人事部门尤为明显，应对企业人员流动频繁,薪酬考勤管理易出错,入转调离协同效率低等问题。许多企业都在采用人事管理系统来辅助HR办公，但是当企业在选择系统时，常常会特别头疼，因为目前市面上的系统众多，不清楚哪一款更适合自身企业。1、了解企业的实际需求HR在选择人事管理系统前，必须满足企业的实际需求，只有这样，才能正确、精准的选择出系统帮你解决的问题以及该软件如何为
分类：
其他好文 时间：
2020-02-20 18:40:48
阅读次数：
177
