码迷,mamicode.com
首页 > 编程语言 > 详细

python自动化开发学习-9 socket网络编程

时间:2016-07-09 11:50:57      阅读:273      评论:0      收藏:0      [点我收藏+]

标签:

一. 简介

python提供了两个级别访问的网络服务:

  • 低级别的网络服务支持节本的socket,它提供了标准的BSD sockets API,可以访问底层操作系统socket接口的全部方法。
  • 高级别的网络服务模块socketserver,它提供了服务器中心类,可以简化网络服务器的开发。

socket介绍

  socket通常也称作"套接字",用于描述IP地址和端口,是一个通信链的句柄,应用程序通常通过"套接字"向网络发出请求或者应答网络请求。

socket起源于Unix,而Unix/Linux基本哲学之一就是“一切皆文件”,对于文件用【打开】【读写】【关闭】模式来操作。socket就是该模式的一个实现,socket即是一种特殊的文件,一些socket函数就是对其进行的操作(读/写IO、打开、关闭)。

 

二. 使用

  socket网络通信示意图:

技术分享

连接原理:

  根据连接启动的方式以及本地套接字要连接的目标,套接字之间的连接过程可以分为三个步骤:服务器监听,客户端请求,连接确认。

(1)服务器监听:是服务器端套接字并不定位具体的客户端套接字,而是出于等待连接的状态,实时监控网络状态。

(2)客户端请求:指由客户端的套接字剔除连接请求,要连接的目标是服务器端的套接字,为此,客户端的套接字必须首先描述它要连接的服务器的套接字,

指出服务器端套接字的地址和端口号,然后就向服务器端套接字提出连接请求。

(3)连接确认:指当服务器端套接字监听到或者说接收到客户端套接字的连接请求,它就响应客户端套接字的请求,建立一个新的线程,把服务器端套接字的描述

发给客户端,一旦客户端确认了此描述,连接就建立好了。而服务器端套接字继续处于监听状态,继续接收其他客户端套接字的连接请求。

 

简单的示例:

技术分享
#!/usr/bin/env python3
# -*- coding:utf-8 -*-

# 导入socket模块
import socket
#开启ip和port
ip_port=(127.0.0.1,9999)
# 生成句柄
s=socket.socket()
# 绑定IP端口,必须是元组
s.bind(ip_port)
# 最多连接数
s.listen(5)

# 开启信息处理死循环
while True:
    # 阻塞,等待连接
    conn,addr=s.accept()
    while True:  # 连接成功
        try:
            # 获取客户端的请求信息
            recv_data=conn.recv(1024)
            # 在server端输出获取的客户端信息
            print(RECV %s [%s] %(addr,recv_data))
            # 向客户端发送数据
            send_data=recv_data.upper()
            conn.send(send_data)
        except Exception:
            break
    # 关闭连接
    conn.close()
server
技术分享
#!/usr/bin/env python
# -*- coding:utf-8 -*-

# 导入socket模块
import socket
# 连接服务器的IP和端口
ip_port=(127.0.0.1,9999)
# 生成句柄
s=socket.socket()
# 请求连接服务器
s.connect(ip_port)
# 循环发送数据到服务端
while True:
    # 发送数据到服务端
    send_data=input(">>: ").strip()
    if len(send_data) == 0:continue
    s.send(bytes(send_data,utf8))
    # 接受服务端发送过来的数据
    recv_data=s.recv(1024)
    print(str(recv_data,utf8))
# 关闭连接
s.close()
client

备注:这套代码可以实现简单的通信功能,但是仍然存在问题:

(1)客户端断开服务后,服务端会一直死循环空值,

(2)粘包,如果服务端返回给一个超过1024内容,客户端将无法一次获取所有信息

(3)单进程

 模拟ssh远程操作示例:

技术分享
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# 导入socket模块
import socket
#导入执行命令模块
import subprocess 
#定义元组
ip_port=(127.0.0.1,9999) 
#绑定协议,生成套接字
s=socket.socket()  
#绑定ip+协议+端口:用来唯一标识一个进程,ip_port必须是元组格式
s.bind(ip_port)    
#定义最大可以挂起的链接数,也就是一个客户端和服务端交互,另外5个客户端等待
s.listen(5)
#用来重复接收新的链接的循环
while True:  
    #接收客户端的链接请求,返回conn(相当于一个特定的链接),addr是客户端ip+port
    conn, addr = s.accept()
    #用来基于一个链接重复收发消息
    while True:
            try:  #捕捉客户端异常关闭(ctrl+c)
                recv_data = conn.recv(1024)  #收消息,阻塞
                if len(recv_data) == 0:
                    break #客户端如果退出,服务端将收到空消息,退出

                #发消息
                #执行系统命令,windows平台命令的标准输出是gbk编码,需要转换
                p = subprocess.Popen(str(recv_data, encoding=utf8), shell=True,stdout=subprocess.PIPE)                                                                                                     
                res = p.stdout.read()   #获取标准输出
                if len(res) == 0:   #执行错误命令,标准输出为空,
                    send_data = cmd err
                else:
                    send_data = str(res, encoding=gbk)  #命令执行ok,字节gbk---->str---->字节utf-8,如果server在linux则无需如此转换
                #将发送给客户端的数据转换为字节
                send_data = bytes(send_data, encoding=utf8)

                #解决粘包问题
                ready_tag = Ready|%s % len(send_data)  # 定义给要发送数据的长度
                conn.send(bytes(ready_tag, encoding=utf8)) #发送数据长度给客户端
                feedback = conn.recv(1024)  #阻塞,接收客户端确认信息
                feedback = str(feedback, encoding=utf8)

                if feedback.startswith(Start):
                    conn.send(send_data)  #发送命令的执行结果
            except Exception:
                break
    #断开连接
    conn.close()
server
技术分享
#!/usr/bin/env python
# -*- coding:utf-8 -*-

import socket
ip_port = (127.0.0.1,9999)
s = socket.socket()
s.connect(ip_port)  #链接服务端,如果服务已经存在一个好的连接,那么挂起

while True:        #基于connect建立的连接来循环发送消息
    send_data = input(">>: ").strip()
    if send_data == exit:
        break
    if len(send_data) == 0:
        continue
    s.send(bytes(send_data, encoding=utf8))

    #解决粘包问题
    ready_tag = s.recv(1024)  #收取带数据长度的字节:Ready|9998
    ready_tag = str(ready_tag, encoding=utf8) # 将字节转换为字符串
    if ready_tag.startswith(Ready):  #Ready|9998
        msg_size = int(ready_tag.split(|)[-1])  #获取待接收数据长度
    start_tag = Start
    s.send(bytes(start_tag, encoding=utf8)) #发送确认信息给服务端,服务端收到消息后会发送命令执行结果

    #基于已经收到的待接收数据长度,循环接收数据
    recv_size = 0
    recv_msg = b‘‘
    while recv_size < msg_size:
        recv_data = s.recv(1024)
        recv_msg += recv_data
        recv_size += len(recv_data)
        print(MSG SIZE %s RECE SIZE %s % (msg_size, recv_size))

    print(str(recv_msg, encoding=utf8))
# 关闭连接
s.close()
client

 

socket功能说明

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)
参数一:地址簇
    socket.AF_INET IPv4(默认)
    socket.AF_INET6 IPv6
    socket.AF_UNIX 只能够用于单一的Unix系统进程间通信
参数二:类型
    socket.SOCK_STREAM  流式socket , for TCP (默认)
    socket.SOCK_DGRAM   数据报式socket , for UDP
    socket.SOCK_RAW 原始套接字,普通的套接字无法处理ICMP、IGMP等网络报文,而
    SOCK_RAW可以;其次,SOCK_RAW也可以处理特殊的IPv4报文;此外,利用原始套接字,可以
    通过IP_HDRINCL套接字选项由用户构造IP头。
    socket.SOCK_RDM 是一种可靠的UDP形式,即保证交付数据报但不保证顺序。
    SOCK_RAM用来提供对原始协议的低级访问,在需要执行某些特殊操作时使用,
    如发送ICMP报文。SOCK_RAM通常仅限于高级用户或管理员运行的程序使用。
  socket.SOCK_SEQPACKET 可靠的连续数据包服务
参数三:协议
    0  (默认)与特定的地址家族相关的协议,如果是 0 ,
    则系统就会根据地址格式和套接类别,自动选择一个合适的协议

sk.bind(address)
s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。
在AF_INET下,以元组(host,port)的形式表示地址。

sk.listen(backlog)
开始监听传入连接。backlog指定在拒绝连接之前,可以挂起的最大连接数量。
backlog等于5,表示内核已经接到了连接请求,但服务器还没有调用accept进行处理的
连接个数最大为5,这个值不能无限大,因为要在内核中维护连接队列

sk.setblocking(bool)
是否阻塞(默认True),如果设置False,那么accept和recv时一旦无数据,则报错。

sk.accept()
接受连接并返回(conn,address),其中conn是新的套接字对象,可以用来接收
和发送数据。address是连接客户端的地址。接收TCP 客户的连接(阻塞式)等待连接的到来

sk.connect(address)
连接到address处的套接字。一般,address的格式为元组(hostname,port),
如果连接出错,返回socket.error错误。

sk.connect_ex(address)
同上,只不过会有返回值,连接成功时返回 0 ,连接失败时候返回编码,例如:10061

sk.close()
关闭套接字

sk.recv(bufsize[,flag])
接受套接字的数据。数据以字符串形式返回,bufsize指定最多可以接收的数量。
flag提供有关消息的其他信息,通常可以忽略。

sk.recvfrom(bufsize[.flag])
与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,
address是发送数据的套接字地址。

sk.send(string[,flag])
将string中的数据发送到连接的套接字。返回值是要发送的字节数量,
该数量可能小于string的字节大小。即:可能未将指定内容全部发送。

sk.sendall(string[,flag])
将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。
成功返回None,失败则抛出异常。
内部通过递归调用send,将所有内容发送出去。

sk.sendto(string[,flag],address)
将数据发送到套接字,address是形式为(ipaddr,port)的元组,指定远程地址。
返回值是发送的字节数。该函数主要用于UDP协议。

sk.settimeout(timeout)
设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。
一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作
(如 client 连接最多等待5s )

sk.getpeername()
返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。

sk.getsockname()
返回套接字自己的地址。通常是一个元组(ipaddr,port)

sk.fileno()
套接字的文件描述符

socketserver

  socketserver内部使用IO多路复用以及“多线程”和“多进程”, 从而实现并处理多个客户端请求的socket服务端。

即:每个客户端请求连接到服务器时,socket服务器端都会在服务器创建一个“线程”或者“进程”专门处理当前客户的所有请求。

注意:python3.X版本使用的是socketserver, python2.x版本使用的是SocketServer模块。

技术分享

 

ThreadingTCPServer

  ThreadingTCPServer实现的socket服务器内部会为每个client创建一个“线程”,该线程用来和客户端进行交互。使用ThreadingTCPServer前,

需要创建一个继承自socketserver.BaseRequestHandler的类,类中必须定义一个名为handle的方法。

技术分享
import socketserver
class MyServer(socketserver.BaseRequestHandler):
    def handle(self):
        conn = self.request
        conn.sendall(我是多线程)
        Flag = True
        while Flag:
            data = conn.recv(1024)
            if data == exit:
                Flag = False
            elif data == 0:
                conn.sendall(您输入的是0)
            else:
                conn.sendall(请重新输入.)
if __name__ == __main__:
    server = socketserver.ThreadingTCPServer((127.0.0.1,8009),MyServer)
    server.serve_forever()
server
技术分享
import socket
ip_port = (127.0.0.1,8009)
sk = socket.socket()
sk.connect(ip_port)
while True:
    data = sk.recv(1024)
    print receive:,data
    inp = input(please input:)
    sk.sendall(inp)
    if inp == exit:
    break
sk.close()
client

内部调用流程为:

  • 启动服务器端程序
  • 执行TCPServer.init方法,创建服务端socket对象并绑定IP和端口
  • 执行BaseServer.init方法,将自定义的继承自socketserver.BaseRequestHandler的类--MyRequestHandle赋值给self.RequestHandlerClass
  • 执行BaseServer.server_forever, while循环一直监听是否有客户端请求到达
  • 当客户端连接到达服务器
  • 执行ThreadingMixIn.process_request方法,创建一个“线程”用来处理请求
  • 执行ThreadingMixIn.process_request_thread方法
  • 执行BaseServer.finish_request方法,执行self.RequestHandlerClass()即:执行 自定义 MyRequestHandler 的构造方法(自动调用基类BaseRequestHandler的构造方法,在该构造方法中又会调用 MyRequestHandler的handle方法)
技术分享
class BaseRequestHandler:

    """Base class for request handler classes.

    This class is instantiated for each request to be handled.  The
    constructor sets the instance variables request, client_address
    and server, and then calls the handle() method.  To implement a
    specific service, all you need to do is to derive a class which
    defines a handle() method.

    The handle() method can find the request as self.request, the
    client address as self.client_address, and the server (in case it
    needs access to per-server information) as self.server.  Since a
    separate instance is created for each request, the handle() method
    can define arbitrary other instance variariables.

    """

    def __init__(self, request, client_address, server):
        self.request = request
        self.client_address = client_address
        self.server = server
        self.setup()
        try:
            self.handle()
        finally:
            self.finish()

    def setup(self):
        pass

    def handle(self):
        pass

    def finish(self):
        pass
RequestHandler相关源码

 

python自动化开发学习-9 socket网络编程

标签:

原文地址:http://www.cnblogs.com/wang-yc/p/5640644.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!