标签:limited security 字符串 特性 api 客户 copy 密码 生态
使用python,可以让任何事情高效起来,包括运维工作,fabric正式这样一套基于python2的类库,它执行本地或远程shell命令提供了操作的基本套件(正常或通过sudo)和上传/下载文件,如提示用户输入运行辅助功能,或中止执行。
用Python3开发的部署工具叫fabric3:fabric3,和fabric一样最大特点是不用登录远程服务器,在本地运行远程命令,几行Python脚本就可以轻松部署。
典型用途包括创建一个包含一个或多个函数的Python模块,然后通过fab命令行工具执行它们。下面是一个小而全的“fab file”包含一个单独的任务:
from fabric.api import run
def host_type():
run(‘uname -s‘)
执行方法:
fab -f deploy.py go
Fabric提供几个简单的API来完成所有的部署,最常用的是local()和run(),分别在本地和远程执行命令,put()可以把本地文件上传到远程,当需要在远程指定当前目录时,只需用with cd(‘/path/to/dir/’):即可。
默认情况下,当命令执行失败时,Fabric会停止执行后续命令。
有时,我们允许忽略失败的命令继续执行,比如run(‘rm /tmp/abc’)在文件不存在的时候有可能失败,这时可以用with settings(warn_only=True):执行命令,这样Fabric只会打出警告信息而不会中断执行。
Fabric是如何在远程执行命令的呢?其实Fabric所有操作都是基于SSH执行的,必要时它会提示输入口令,所以非常安全。更好的办法是在指定的部署服务器上用证书配置无密码的ssh连接。
更多请fabric参考官方文档,http://www.fabfile.org/
对于私有云的用户来说,服务器的基建工作比较重要,需要做一些规范化的统一操作,方便后序搭建集群时候服务器上的操作系统有统一的配置,比如CDH,TDH等的集群管理工具,都有这样的要求。
当然,如果是公有云,不用考虑这么多。私有云追赶潮流的话,直接上docker或者openstack就好。下面就是比较low的基建流程,基建工作主要流程为:
在有网环境下,pip instatll fabric后将anaconda打包
解压安装到/opt下
tar -xzf anaconda2.tar.gz
pwd
mkdir python
cd python/
mv ../anaconda2* .
mkdir deployment
cd deployment/
vim deploy.py (copy 下一节的内容)
//在当前命令行上下文,加入anaconda环境变量
ls /opt/python/anaconda2/bin/
PATH=/opt/python/anaconda2/bin;$PATH
#-*- coding: utf-8 -*-
import sys
from fabric.api import *
env.user = ‘root‘
hostList = []
hostnameprefix=‘hostname-‘
for i in range(1,n): #ip range
hostList.append(hostnameprefix + str(i))
env.hosts = hostList
env.password = ‘Pass1234‘
diskList=‘bcdefghijklm‘
fstabappend=‘‘‘
/dev/sdb1 /mnt/data01 xfs defaults 0 0
#.......
/dev/sdc1 /mnt/data02 xfs defaults 0 0
‘‘‘
with open(‘/root/.ssh/authorized_keys‘, ‘r‘) as f:
sshkey = f.read()
def gethostname():
run(‘hostname‘)
# only for RHEL7.2
def changehostname():
cmd = ‘‘‘num=`ifconfig| grep your_ip | awk ‘{print $2}‘ | cut -d ‘.‘ -f 4` && echo hostname-$num > /etc/hostname ‘‘‘
run(cmd)
def checksshd():
cmd = ‘grep UseDNS /etc/ssh/sshd_config‘
run(cmd)
# only for RHEL7.2
def disableSSHDNS():
cmd = ‘‘‘echo UseDNS no >> /etc/ssh/sshd_config‘‘‘
run(cmd)
def getSelinux():
cmd = ‘‘‘grep ‘SELINUX=‘ /etc/selinux/config && getenforce‘‘‘
run(cmd)
def disableSelinux():
cmd = ‘‘‘sed -i ‘s/SELINUX=.*[=A-Za-z]$/SELINUX=disabled/g‘ /etc/selinux/config‘‘‘
run(cmd)
def getFirewalld():
cmd = ‘systemctl status firewalld‘
run(cmd, warn_only=True)
def disableFirewalld():
cmd = ‘systemctl disable firewalld && systemctl stop firewalld‘
run(cmd)
def checkdiskparted():
for d in diskList:
run(‘‘‘parted /dev/sd%s print ‘‘‘ % (d))
def parteddisk():
for d in diskList:
run(‘‘‘parted /dev/sd%s mklabel gpt ‘‘‘ % (d))
run(‘‘‘parted /dev/sd%s mkpart primary %s %s‘‘‘ % (d, ‘0%‘, ‘100%‘))
def mkfsdisk():
for d in diskList:
run(‘‘‘mkfs.xfs /dev/sd%s1 ‘‘‘ % (d))
def mountdisk():
run(‘cp /etc/fstab /root/fstab.bak‘)
run(‘‘‘mkdir /mnt/data0{1,2,3,4,5,6,7,8,9} /mnt/data1{0,1,2}‘‘‘)
run(‘echo >> /etc/fstab‘)
run(‘‘‘tee -a /etc/fstab <<EOF%sEOF‘‘‘ % (fstabappend))
run(‘mount -a‘)
def checkmount():
run(‘‘‘df -h | grep ‘/mnt/data‘| wc -l ‘‘‘)
def checknetspeed():
run(‘‘‘ ethtool bond0| grep Speed ‘‘‘)
@runs_once
def confirm_opetions(message):
return prompt(message, default=‘N‘)
## !!!!!!!!!!!!!! don‘t to run this function
@task
def rebootall(lhost=‘default‘):
# if lhost in env.hosts:
# env.hosts.remove(lhost)
# else :
# print(‘*******************‘)
# print(‘give me the lhost , tell me: who are you?‘)
# print(‘*******************‘)
# sys.exit(-1)
# reboot(use_sudo=False)
run(‘shutdown -r +3‘)
@task
def nopasswd():
run(‘mkdir -p /root/.ssh && chmod 700 /root/.ssh && echo "%s" >> /root/.ssh/authorized_keys && chmod 644 /root/.ssh/authorized_keys‘ % (sshkey))
@task
def go():
changehostname()
# disableSSHDNS()
# disableSelinux()
# disableFirewalld()
# mkfsdisk()
# mountdisk()
@task
def check():
gethostname()
checksshd()
getSelinux()
getFirewalld()
checkdiskparted()
checkmount()
checknetspeed()
num=`ifconfig| grep yourip | awk ‘{print $2}‘ | cut -d ‘.‘ -f 4` && echo gaibdv1_$num
grep ‘SELINUX=‘ /etc/selinux/config && getenforce
sed -i ‘s/SELINUX=.*[=A-Za-z]$/SELINUX=disabled/g‘ /etc/selinux/config
for d in diskList:
run(‘‘‘parted /dev/sd%s mklabel gpt ‘‘‘ % (d))
run(‘‘‘parted /dev/sd%s mkpart primary %s %s‘‘‘ % (d, ‘0%‘, ‘100%‘))
ethtool bond0| grep Speed
XFS文件系统
Linux Container(Docker)
RHEV 3.0 红帽企业级虚拟化
RHEV-M能管理虚拟机与其磁盘镜像,安装ISO,进行高可用性设置,创建虚拟机模板等,这些都能从图形web界面完成。也可使用RHEV-M管理两种类型的hypervisor。RHEV自身带有一个独立的裸机hypervisor,基于RHEL与KVM虚拟化,作为托管的物理节点使用。另外,如果你想从RHEV管理运行在RHEL上的虚拟机,可注册RHEL服务器到RHEV-M控制台。
任务 | 旧命令 | 新命令 |
---|---|---|
使某服务自动启动 | chkconfig –level 3 httpd on | systemctl enable httpd.service |
使某服务不自动启动 | chkconfig –level 3 httpd off | systemctl disable httpd.service |
检查服务状态 | service httpd status | systemctl status httpd.service (服务详细信息) systemctl is-active httpd.service (仅显示是否 Active) |
显示所有已启动的服务 | chkconfig –list | systemctl list-units –type=service |
启动某服务 | service httpd start | systemctl start httpd.service |
停止某服务 | service httpd stop | systemctl stop httpd.service |
重启某服务 | service httpd restart | systemctl restart httpd.service |
一、CentOS的Services使用了systemd来代替sysvinit管理
二、修改系统运行级别
三、其他配置工具
主要是多了systemd这个软件,采用了以下新技术:
采用Socket激活式与总线激活式服务,以提高相互依赖的各服务的并行运行性能;
用cgroups代替PID来追踪进程,以此即使是两次fork之后生成的守护进程也不会脱离systemd的控制。
Systemd是一个系统管理守护进程、工具和库的集合,用于取代System V初始进程。Systemd的功能是用于集中管理和配置类UNIX系统。主要负责控制systemd系统和服务管理器。从设计构思上说,由于systemd使用了cgroup与fanotify等组件以实现其特性,所以只适用于Linux。
在Linux生态系统中,Systemd被部署到了大多数的标准Linux发行版中,只有为数不多的几个发行版尚未部署。Systemd通常是所有其它守护进程的父进程,但并非总是如此。
其他请看参考7。
可能优化的地方
yum update -y
chmod +x /etc/rc.d/rc.local
ulimit -n
ulimit -a
vi /etc/security/limits.conf
最后添加
* soft nofile 1024000
* hard nofile 1024000
hive - nofile 1024000
hive - nproc 1024000
用户进程限制
# sed -i ‘s#4096#65535#g‘ /etc/security/limits.d/20-nproc.conf #加大普通用户限制 也可以改为unlimited
# egrep -v "^$|^#" /etc/security/limits.d/20-nproc.conf
* soft nproc 65535
root soft nproc unlimited
reboot
cat /etc/sysctl.conf
#CTCDN系统优化参数
#关闭ipv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
#决定检查过期多久邻居条目
net.ipv4.neigh.default.gc_stale_time=120
#使用arp_announce / arp_ignore解决ARP映射问题
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_announce=2
# 避免放大攻击
net.ipv4.icmp_echo_ignore_broadcasts = 1
# 开启恶意icmp错误消息保护
net.ipv4.icmp_ignore_bogus_error_responses = 1
#关闭路由转发
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
#开启反向路径过滤
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.rp_filter = 1
#处理无源路由的包
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.default.accept_source_route = 0
#关闭sysrq功能
kernel.sysrq = 0
#core文件名中添加pid作为扩展名
kernel.core_uses_pid = 1
# 开启SYN洪水攻击保护
net.ipv4.tcp_syncookies = 1
#修改消息队列长度
kernel.msgmnb = 65536
kernel.msgmax = 65536
#设置最大内存共享段大小bytes
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
#timewait的数量,默认180000
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_rmem = 4096 87380 4194304
net.ipv4.tcp_wmem = 4096 16384 4194304
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
#每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目
net.core.netdev_max_backlog = 262144
#限制仅仅是为了防止简单的DoS 攻击
net.ipv4.tcp_max_orphans = 3276800
#未收到客户端确认信息的连接请求的最大值
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 0
#内核放弃建立连接之前发送SYNACK 包的数量
net.ipv4.tcp_synack_retries = 1
#内核放弃建立连接之前发送SYN 包的数量
net.ipv4.tcp_syn_retries = 1
#启用timewait 快速回收
net.ipv4.tcp_tw_recycle = 1
#开启重用。允许将TIME-WAIT sockets 重新用于新的TCP 连接
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_fin_timeout = 1
#当keepalive 起用的时候,TCP 发送keepalive 消息的频度。缺省是2 小时
net.ipv4.tcp_keepalive_time = 1800
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl = 15
#允许系统打开的端口范围
net.ipv4.ip_local_port_range = 1024 65000
#修改防火墙表大小,默认65536
net.netfilter.nf_conntrack_max=655350
net.netfilter.nf_conntrack_tcp_timeout_established=1200
# 确保无人能修改路由表
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.default.secure_redirects = 0
本文出自 “兰芷” 博客,请务必保留此出处http://7826443.blog.51cto.com/7816443/1775248
sysctl -p #生效
1.官方文档
http://www.fabfile.org/
2.参考
http://wklken.me/posts/2013/03/25/python-tool-fabric.html
3.python3中使用fabric3
https://github.com/mathiasertl/fabric/
pip install Fabric3
4.关闭UseDNS加速SSH登录
经常登陆SSH的朋友可以感觉出,每次登录SSH时总是要停顿等待一下才能连接上,,这是因为OpenSSH服务器有一个DNS查找选项UseDNS默认情况下是打开的。
UseDNS 选项打开状态下,当客户端试图登录SSH服务器时,服务器端先根据客户端的IP地址进行DNS PTR反向查询出客户端的主机名,然后根据查询出的客户端主机名进行DNS正向A记录查询,验证与其原始IP地址是否一致,这是防止客户端欺骗的一种措施,但一般我们的是动态IP不会有PTR记录,打开这个选项不过是在白白浪费时间而已,不如将其关闭。
http://www.kwx.gd/CentOSApp/Centos-SSH-UseDNS.html
6.fabric使用简单例子,中文:
http://www.cnblogs.com/MacoLee/p/5680672.html
另一个参考:
http://blog.csdn.net/wklken/article/details/8719541/
7.RHEL 一些改变
http://www.ha97.com/5657.html
https://linux.cn/article-5926-1.html
8.优化RHEL
http://hequan.blog.51cto.com/5701886/1789146/
使用python fabric搭建RHEL 7.2大数据基础环境以及部分优化
标签:limited security 字符串 特性 api 客户 copy 密码 生态
原文地址:http://blog.csdn.net/wangyaninglm/article/details/71076169