并行度：其实就是指的是，Spark作业中，各个stage的task数量，也就代表了Spark作业的在各个阶段（stage）的并行度。如果不调节并行度，导致并行度过低，会怎么样？假设，现在已经在spark-submit脚本里面，给我们的spark作业分配了足够多的资源，比如50个executor，每个executor..
分类：
其他好文 时间：
2017-04-11 01:48:10
阅读次数：
148
文本处理工具有很多，像vi,vim,nano等，今天主要说一下文本处理三剑客：grep系：grep，egrep，fgrep文本搜索工具，这些都是基于"PATTERN"给定的文本进行模糊搜索，而且grep系的默认工作处于贪婪模式下sed：StreamEDitor流编辑器，行编辑器，awk：Gawk-GNUawk，文本格式化工具，..
分类：
其他好文 时间：
2017-04-11 01:47:36
阅读次数：
263
第一步：下载Apache、MySQL、PHPwgethttp://mirrors.sohu.com/apache/httpd-2.2.31.tar.gzwgethttp://mirrors.sohu.com/php/php-5.3.27.tar.gzwgethttp://mirrors.sohu.com/mysql/MySQL-5.1/mysql-5.1.73-linux-x86_64-glibc23.tar.gz第二步：先安装MySQL解压缩mysql安装包tar-..
分类：
Web程序 时间：
2017-04-11 01:47:17
阅读次数：
189
vim使用技巧1、vim高级功能文本内容的局部选择与操作（普通模式）操作功能v选择部分字符，在选择的第一个字符按”v”后移动光标，光标所经过处都会被选择V选择若干行，在选择的某行输入“V“，上下移动光标，光标经过行都会被选择Ctrl+v选择块，将光标移动文档的某个位置，输入..
分类：
系统相关 时间：
2017-04-11 01:46:58
阅读次数：
220
第一，RDD架构重构与优化尽量去复用RDD，差不多的RDD，可以抽取称为一个共同的RDD，供后面的RDD计算时，反复使用。第二，公共RDD一定要实现持久化对于要多次计算和使用的公共RDD，一定要进行持久化。持久化，也就是说，将RDD的数据缓存到内存中/磁盘中，（BlockManager），以后..
分类：
其他好文 时间：
2017-04-11 01:46:42
阅读次数：
209
一台服务器启动多个mysql数据库安装完mysql后复制mysql数据库到当前路径并且重命名为mysql2cp-r/usr/local/mysql/usr/local/mysql2切换路径到mysql2cd/usr/local/mysql2复制my.cnf文件到mysql2下cp/etc/my.cnf/usr/local/mysql2编辑mysql2的my.cnfvim/usr/local/mysql2/my.cnf..
分类：
数据库 时间：
2017-04-11 01:46:25
阅读次数：
212
JDK的安装：下载jdk安装包wgethttp://download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x64.tar.gz?AuthParam=1470388116_8d0b1125c26b81742b2e7542395d7ed1解压安装包tat-zxvfjdk-8u101-linux-x64.tar.gz复制解压出来的目录到/usr/local目录下mvjdk1.8.0_101/..
分类：
其他好文 时间：
2017-04-11 01:45:54
阅读次数：
207
服务端：安装samba服务及客户端服务yuminstall-ysambasamba-client配置Samba配置文件：vim/etc/samba/smb.conf变更内容为：workgroup=WORKGROUPsecurity=share尾部增加：[guolianzichan]comment=shareall验证方式path=/tmp/guolian共享目录browseable=yes是否可浏览public=yes..
分类：
其他好文 时间：
2017-04-11 01:45:39
阅读次数：
229
heartbeat主机配置第一步关闭防火墙及selinuxiptables-Fserviceiptablessavevim/etc/selinux/configreboot添加host文件内容vim/etc/hosts192.168.238.132linux-server192.168.238.133linux-client下载扩展源安装包wgetwww.lishiming.net/data/p_w_upload/forum/epel-release-6-..
分类：
其他好文 时间：
2017-04-11 01:45:23
阅读次数：
278
首先我们要了解脚本的内容和格式首行必须是shebang（解释器路径），shebang必须占据绝对行首在shell脚本中，除了shebang之外，以#占据据对行首的内容，均为注释行，解释器会自动忽略这样的行内容为了能在程序中突出程序的功能，适当的添加空白行，以分隔不同的源代码块有一定的..
分类：
系统相关 时间：
2017-04-11 01:45:06
阅读次数：
304
1.1.环境说明说明：本文档中涉及到的所有主机的操作系统均为Centos7.2x86_64系统，使用的光盘为centos7-x86_64-dvd-1511.iso控制节点： 主机名：controller RAM:4G 管理接口:192.168.31.11/24桥接 承载虚拟机流量接口：10.0.0.2/24vmnet1计算节点： 主机名：computer1 RAM:6G ..
分类：
其他好文 时间：
2017-04-11 01:44:16
阅读次数：
775
临时修改ip在linux中输入命令：ifconfigeth0192.168.1.1netmask255.255.255.0回车这里的192.168.1.1是临时ip，netmask是子网掩码，这个临时ip会在你重启网卡后重新变成之前的ip永久修改ip在linux中输入命令#vim/etc/sysconfig/network-scripts/ifcfg-eth0,在ifcfg-eth0文件中新..
分类：
系统相关 时间：
2017-04-11 01:43:58
阅读次数：
305
短短的呼呼南海礁http://blog.51cto.com/user_index.php?action=addblog_new积极#include<stdio.h>
#include<fcnt
#include"unistd.h"
intmain(void)
{
ssize_tfd=0,ret;
}
sc
分类：
其他好文 时间：
2017-04-11 01:43:15
阅读次数：
252
本文来自与自己的博客BulkWriteOperations操作是mongodb3.2的新增功能，语法如下：db.collection.bulkWrite(
[<operation1>,<operation2>,...],
{
writeConcern:<document>,
ordered:<boolean>
}
)其中ordered是个需要注意的地方，根据官方描述：默认..
分类：
数据库 时间：
2017-04-11 01:42:56
阅读次数：
1568
1.系统日志默认分类/var/log/messages##系统服务及日志，包括服务的信息，报错等等/var/log/secure##系统认证信息日志/var/log/maillog##系统邮件服务信息/var/log/cron##系统定时任务信息/var/log/boot.log##系统启动信息2.日志管理服务rsyslog(1)rsyslog负责采集日志和分类存..
分类：
其他好文 时间：
2017-04-11 01:41:05
阅读次数：
182
Lastlogin:SatMar407:09:022017from192.168.60.1[keke@wuyike~]$netstat-an|grepESTtcp00192.168.60.134:22192.168.60.1:50931ESTABLISHEDtcp00192.168.60.134:22192.168.60.1:62129ESTABLISHEDtcp052192.168.60.134:52113192.168.60.1:51337ESTABLISHED[keke@wuyike~]$netstat..
分类：
其他好文 时间：
2017-04-11 01:39:54
阅读次数：
246
SLS（代表SaLtState文件）是SaltState系统的核心。SLS描述了系统的目标状态，由格式简单的数据构成。这经常被称作配置管理。SLS文件使用YAML语言编写，其规则主要有以下三方面：缩进：每个缩进级别由两个空格组成，相同缩进表示相同的层级，严禁使用TAB键冒号：冒号+空格用来分..
分类：
其他好文 时间：
2017-04-11 01:39:40
阅读次数：
165
