码迷,mamicode.com
首页 > 编程语言 > 详细

Python自动化运维之14、网络编程之socker()、sockerserver()

时间:2016-08-20 17:43:59      阅读:349      评论:0      收藏:0      [点我收藏+]

标签:

一、TCP/IP相关知识

TCP/UDP提供进程地址,两个协议互不干扰的独自的协议
      TCP :Transmission Control Protocol 传输控制协议,面向连接的协议,通信前需要建立通信信道(虚拟链路),结束后拆除链路,流式数据协议,可靠的连接                      
  UDP:User Datagram Protocol 用户数据报协议,无连接的协议,不可靠的连接
 
IP是主机到主机之间,在传输过程中是不会变的,不能超过MTU:最大传输单元
MAC是设备到设备之间通信的,在传输中会不断封装与解封装,会不断变化的
 
数据传输过程,tcp/ip各种协议会将数据切割成数据报文,IP协议是无连接的,不可靠的,但是上传的传输层协议中的tcp是可靠的,安全的,IP可能在分段,最大数据报文不能超过MTU,1500字节,IP报文就剩1400左右字节

                                  技术分享

应用层、表示层、会话层(资源子网,用户进程)
传输层、网络层、数据链路层、物理层(通信子网,内核空间)
 
 
TCP协议的特性:
  • 建立连接,三次握手
  • 将数据打包成段,校验和(CRC-32循环冗余校验法),检验报文的完整性
  • 确认、重传以及超时
  • 排序,逻辑序号
  • 流量控制:防止快发慢收,滑动窗口(算法)来实现
  • 拥塞控制:慢启动和拥塞避免算法避免拥塞
 

二、socket

  socket通常也称作"套接字",用于描述IP地址和端口,是一个通信链的句柄,应用程序通常通过"套接字"向网络发出请求或者应答网络请求。
socket起源于Unix,而Unix/Linux基本哲学之一就是“一切皆文件”,对于文件用【打开】【读写】【关闭】模式来操作。socket就是该模式的一个实现,socket即是一种特殊的文件,一些socket函数就是对其进行的操作(读/写IO、打开、关闭)

socket和file的区别:

  • file模块是针对某个指定文件进行【打开】【读写】【关闭】
  • socket模块是针对 服务器端 和 客户端Socket 进行【打开】【读写】【关闭】

socket相关知识

  应用程序中进程要用某个套接字要向内核注册申请端口,比如http监听在80端口,客户端web浏览器进程则开启的是随机端口41052-65535之间的端口,连接http的80端口。
 
socket:允许位于不同主机(甚至同一主机)上不同进程之间进程之间通信(数据交换)Socket API,早期在BSD中使用
  • SOCK_STREAM:tcp 套接字
  • SOCK_DGRAM: udp 套接字
  • SOCK:裸套接字
socket domain:套接字域(根据其所使用的地址)
  • AF_INET:Address Family,IPv4
  • AF_INET6:IPv6
  • AF_UNIX:同一主机上不同进程的通信,不经过tcp/ip,直接通过内核调用套接字通信,共享内存通信
每类套接字都至少提供了两种socket:流,数据报文
  • 流:tcp可靠的传递、面向连接、无边界数据传递
  • 数据报文:udp不可靠的传递、有边界,无连接
IANA(互联网数字分配机构)规定:
  • 0-1023:众所周知,永久的分配给固定的应用使用,特权端口,只有管理员root才有权限使用;22/tcp(ssh),80/tcp(http),443/tcp(https)
  • 1024-41951:亦为注册端口,但要求并不是特别严格,分配给程序注册为某应用使用
  • 41952-65535:客户端程序随机使用的端口,称为动态端口,或私有端口,其范围的定义:/proc/sys/net/ipv4/ip_local_port_range,并发场景中可以修改大一些只要不包含1023之前的端口即可。1024 65535
socket模块是针对 服务器端 和 客户端Socket 进行【打开】【读写】【关闭】,一个完整的套接字模型图如下图所示:
                                    技术分享

1、简单运用

(1)简单实现一个TCP SOCKET的C/S架构,S服务器,C客户端:

socker_server.py 
#!/usr/bin/env python
# -*- coding:utf-8 -*-

import socket
ip_add=(‘127.0.0.1‘,9000)

s = socket.socket()     # 创建套接字对象
s.bind(ip_add)          # 绑定ip和端口必须是元组
s.listen(5)             # 设置连接池挂起的数量

while True:
    conn,addr = s.accept()  # 接受客户端的连接,conn是客户端连接服务端的电信号,addr客户端ip,port

    while True:
        try:
            recv_data = conn.recv(1024)    # conn.recv接收客户端信息1024允许接受的字节最大8k
            if len(recv_data) == 0:break

            send_data = recv_data.upper()
            conn.send(send_data)   # conn.send发送信息
        except Exception:
            break

    conn.close()
socker_client.py 
#!/usr/bin/env python
# -*- coding:utf-8 -*-

import socket
ip_add=(‘127.0.0.1‘,9000)

s = socket.socket()  # 创建套接字对象
s.connect(ip_add)    # s.connect连接服务器

while True:
    send_data = input(">>>:")    
    if send_data == ‘exit‘: break
    if len(send_data) == 0:continue
    s.send(bytes(send_data,encoding="utf-8"))   # s.send发送信息

    recv_data = s.recv(1024)    # s.recv接收服务器发来的信息
    print(str(recv_data,encoding="utf-8"))

s.close()

根据socket的流程图简单实现了,客户端与服务器的交互,socket的工作流程图很重要,上面的流程图是TCP的,UDP简单些没有那么多的交互

(2)简单实现一个UDP SOCKET的C/S架构,S服务器,C客户端:

# 服务端
import socket
ip_port = (‘127.0.0.1‘,9999)
sk = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0)
sk.bind(ip_port)

while True:
    data,(host,port) = sk.recvfrom(1024)
    print(data,host,port)
    sk.sendto(bytes(‘ok‘, encoding=‘utf-8‘), (host,port))


#客户端
import socket
ip_port = (‘127.0.0.1‘,9999)

sk = socket.socket(socket.AF_INET,socket.SOCK_DGRAM,0)
while True:
    inp = input(‘数据:‘).strip()
    if inp == ‘exit‘:
        break
    sk.sendto(bytes(inp, encoding=‘utf-8‘),ip_port)
    data = sk.recvfrom(1024)
    print(data)

sk.close()

2、socker()类相关方法:

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)

参数一:地址簇

  socket.AF_INET IPv4(默认)
  socket.AF_INET6 IPv6

  socket.AF_UNIX 只能够用于单一的Unix系统进程间通信

参数二:类型

  socket.SOCK_STREAM  流式socket , for TCP (默认)
  socket.SOCK_DGRAM   数据报式socket , for UDP

  socket.SOCK_RAW 原始套接字,普通的套接字无法处理ICMP、IGMP等网络报文,而SOCK_RAW可以;其次,SOCK_RAW也可以处理特殊的IPv4报文;此外,利用原始套接字,可以通过IP_HDRINCL套接字选项由用户构造IP头。
  socket.SOCK_RDM 是一种可靠的UDP形式,即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问,在需要执行某些特殊操作时使用,如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。
  socket.SOCK_SEQPACKET 可靠的连续数据包服务

参数三:协议

      0  (默认)与特定的地址家族相关的协议,如果是 0 ,则系统就会根据地址格式和套接类别,自动选择一个合适的协议

sk.bind(address)

  s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下,以元组(host,port)的形式表示地址。

sk.listen(backlog)

  开始监听传入连接。backlog指定在拒绝连接之前,可以挂起的最大连接数量。

      backlog等于5,表示内核已经接到了连接请求,但服务器还没有调用accept进行处理的连接个数最大为5
      这个值不能无限大,因为要在内核中维护连接队列

sk.setblocking(bool)

  是否阻塞(默认True),如果设置False,那么accept和recv时一旦无数据,则报错。

sk.accept()

  接受连接并返回(conn,address),其中conn是新的套接字对象,可以用来接收和发送数据。address是连接客户端的地址。

  接收TCP 客户的连接(阻塞式)等待连接的到来

sk.connect(address)

  连接到address处的套接字。一般,address的格式为元组(hostname,port),如果连接出错,返回socket.error错误。

sk.connect_ex(address)

  同上,只不过会有返回值,连接成功时返回 0 ,连接失败时候返回编码,例如:10061

sk.close()

  关闭套接字

sk.recv(bufsize[,flag])

  接受套接字的数据。数据以字符串形式返回,bufsize指定最多可以接收的数量。flag提供有关消息的其他信息,通常可以忽略。

sk.recvfrom(bufsize[.flag])

  与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。

sk.send(bytes[,flag])

  将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。即:可能未将指定内容全部发送。

sk.sendall(bytes[,flag])

  将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。

      内部通过递归调用send,将所有内容发送出去。

sk.sendto(bytes[,flag],address)

  将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。

sk.settimeout(timeout)

  设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如 client 连接最多等待5s )

sk.getpeername()

  返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。

sk.getsockname()

  返回套接字自己的地址。通常是一个元组(ipaddr,port)

sk.fileno()

  套接字的文件描述符

3、复杂运用

运用socket()实现C/S以及ssh相关操作和解决粘包问题:

服务端在发送数据之前,先把发送数据的长度告诉客户端,要发送多少数据,然后客户端根据这个数据的长度循环接收来解决粘包,传输过程:
服务端:
    (1).send  #数据长度
    (4).recv  #收到确认信息,开始下一步发送
    send  #发送数据
    
客户端 :
    (2).recv #获取数据长度
    (3).send #发送确认信息
    recv #循环接收

socket_ssh_nianbao_server.py  

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import socket
import subprocess
ip_add=(‘127.0.0.1‘,9001)


s = socket.socket()
s.bind(ip_add)
s.listen(5)

while True:
    conn,addr = s.accept()

    while True:
        try:
            recv_data = conn.recv(1024)
            if len(recv_data) == 0:break

            p = subprocess.Popen(str(recv_data,encoding="utf-8"),
                                 shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
            res = p.stdout.read()
            err = p.stderr.read()
            if len(res) == 0:
                conn.send(err)
            else:
                send_data = bytes("Ready|%s" %len(res),encoding="utf-8")

            conn.send(send_data)

            feed_back = conn.recv(1024)
            start_tag = str(feed_back,encoding="utf-8")

            if start_tag.startswith("start"):
                conn.send(res)
        except Exception:
            break

    conn.close()

socket_ssh_nianbao_client.py  

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import socket
ip_add=(‘127.0.0.1‘,9001)

s = socket.socket()
s.connect(ip_add)

while True:
    send_data = input(">>>:")
    if send_data == ‘exit‘: break
    if len(send_data) == 0:continue
    s.send(bytes(send_data,encoding="utf-8"))

    recv_tag = s.recv(1024)
    recv_tag = str(recv_tag,encoding="utf-8")
    if recv_tag.startswith("Ready"):
        msg_size = int(recv_tag.split("|")[1])

    s.send(bytes("start",encoding="utf-8"))

    recv_size = 0
    msg_data = b‘‘
    while recv_size != msg_size:
        recv_data=s.recv(100)
        recv_size+=len(recv_data)
        msg_data+=recv_data
        print(‘message size %s recv size %s‘ %(msg_size,recv_size))

    print(str(msg_data,encoding="utf-8"))

s.close()

4、设置socket 

  setsockopt()和getsockopt(),一个是设置选项,一个是得到设置。这里主要使用setsockopt(),setsockopt(level,optname,value),level定义了哪个选项将被使用。通常情况下是SOL_SOCKET,意思是正在使用的socket选项。

optname参数提供使用的特殊选项。关于可用选项的设置,会因为操作系统的不同而有少许不同。如果level选定了SOL_SOCKET,那么一些常用的选项见下表:

技术分享
比较常用的用法是,setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) 这里value设置为1,表示将SO_REUSEADDR标记为TRUE,操作系统会在服务器socket被关闭或服务器进程终止后马上释放该服务器的端口,否则操作系统会保留几分钟该端口。
 

三、socketserver

  socketserver内部使用 IO多路复用 以及 “多线程” 和 “多进程” ,从而实现并发处理多个客户端请求的Socket服务端。即:每个客户端请求连接到服务器时,Socket服务端都会在服务器是创建一个“线程”或者“进程” 专门负责处理当前客户端的所有请求。底层还是对socket进行了封装和加入线程、进程就实现了socketserver,后面会对socketserver进行一个源码分析
           技术分享        

ThreadingTCPServer

ThreadingTCPServer是实现socket服务器的类,内部会为每个client创建一个 “线程”,该线程用来和客户端进行交互。

ThreadingTCPServer:

  • 创建一个继承自 SocketServer.BaseRequestHandler 的类
  • 类中必须定义一个名称为 handle 的方法
  • 启动ThreadingTCPServer

1、socketserver简单运用,实现C/S交互通信

socketserver_server.py
#!/usr/bin/env python
# -*- coding:utf-8 -*-

import socketserver
import subprocess
import os

class MyServer(socketserver.BaseRequestHandler):

    def handle(self):

        conn = self.request
        conn.sendall(bytes(‘欢迎致电 10086,请输入1xxx,0转人工服务.‘,encoding="utf-8"))

        while True:
            data = conn.recv(2014)
            if len(data) == 0: break
            cmd = subprocess.Popen(data.decode(),shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
            send_data = cmd.stdout.read()
            err_data = cmd.stderr.read()
            if len(send_data) == 0:
                send_data = bytes("current dirctory is %s" % os.getcwd(),encoding="utf-8")
            if err_data:
                send_data = err_data
            conn.sendall(send_data)

if __name__ == ‘__main__‘:
    server = socketserver.ThreadingTCPServer((‘127.0.0.1‘,9000),MyServer)
    server.serve_forever()

socketserver_client.py  

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import socket
ip_add=(‘127.0.0.1‘,9000)

s = socket.socket()
s.connect(ip_add)

welcome_msg = s.recv(1024)
print(welcome_msg.decode())
while True:
    send_data = input(">>>:")
    if send_data == ‘exit‘: break
    if len(send_data) == 0:continue
    s.send(bytes(send_data,encoding="utf-8"))

    recv_data = s.recv(1024)
    print(str(recv_data,encoding="utf-8"))

s.close()

2、socketserver复杂运用:实现文件上传类似 

socketserver_ftp_server.py

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import socketserver
import json

class MyServer(socketserver.BaseRequestHandler):

    def handle(self):

        conn = self.request
        conn.sendall(bytes(‘欢迎致电 10086,请输入1xxx,0转人工服务.‘,encoding="utf-8"))

        while True:
            data = conn.recv(2014)
            if len(data) == 0: break
            task_data = json.loads(data.decode())
            print(task_data)
            task_action = task_data.get("action")
            if hasattr(self,"task_%s" %task_action):
                func = getattr(self,"task_%s" %task_action)
                func(task_data)

            else:
                print("task action is not supported",task_action)


    def task_put(self,*args,**kwargs):
        print("put",args,kwargs)
        file_size = args[0].get(‘filesize‘)
        filename = args[0].get(‘filename‘)
        server_response = {"status":200}
        self.request.send(bytes(json.dumps(server_response),encoding="utf"))
        with open(‘/tmp/‘ + filename,‘wb‘) as f:
            recv_size = 0
            while recv_size != file_size:
                data = self.request.recv(4096)
                f.write(data)
                recv_size += len(data)
                print("filesize: %s recvsize:%s" %(file_size,recv_size))
            print("recv success")

if __name__ == ‘__main__‘:
    server = socketserver.ThreadingTCPServer((‘127.0.0.1‘,9000),MyServer)
    server.serve_forever()

socketserver_ftp_client.py  

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import socket
import os
import json
ip_add=(‘127.0.0.1‘,9000)

s = socket.socket()
s.connect(ip_add)

welcome_msg = s.recv(1024)
print(welcome_msg.decode())
while True:

    send_data = input(">>>:").strip()
    if send_data == ‘exit‘: break
    if len(send_data) == 0:continue

    cmd_list = send_data.split()
    if len(cmd_list) < 2:
        print("Usage: put path/to/file")
        continue

    task_type = cmd_list[0]
    if task_type == ‘put‘:
        abs_filepath = cmd_list[1]
        if os.path.isfile(abs_filepath):
            file_size = os.stat(abs_filepath).st_size
            filename = abs_filepath.split(‘/‘)[-1]
            print(‘file:%s size:%s‘ %(abs_filepath,file_size))

            msg_data = {"action":"put","filename":filename,"filesize":file_size}
            s.send(bytes(json.dumps(msg_data),encoding="utf-8"))

            server_confirmation_msg = s.recv(1024)
            confirm_data = json.loads(server_confirmation_msg.decode())
            if confirm_data[‘status‘] == 200:

                print("start sending file",filename)
                with open(abs_filepath,‘rb‘) as f:
                    for line in f:
                        s.send(line)

                    print("send file done")

        else:
            print("\033[31m file [%s] is not exist \033[0m" %abs_filepath)
            continue

    else:
        print("don‘t support %s command" % task_type)
        continue


    recv_data = s.recv(1024)
    print(str(recv_data,encoding="utf-8"))

s.close()

  

  

 
 
 
 
 
 
 
 
 

 

Python自动化运维之14、网络编程之socker()、sockerserver()

标签:

原文地址:http://www.cnblogs.com/xiaozhiqi/p/5788544.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!