码迷,mamicode.com
首页 > 编程语言 > 详细

Python爬虫--网络编程

时间:2019-12-06 00:01:39      阅读:140      评论:0      收藏:0      [点我收藏+]

标签:ima   dal   客户   相关   pad   color   浮点   table   没有   

Python 网络编程

Python提供两个基本的Socket模块:

  • Socket,提供了标准的BSD Sockets API
  • SocketServer, 提供了服务器中心类,可以简化网络服务器的开发

1、Socket类型
套接字格式为: socket(family, type[,protocall]),使用给定的地址族、套接字类型、协议类型(默认为0)创建套接字。

技术图片

2、Socket函数

socket函数

描述

服务端socket函数

s.bind(address)

将套接字绑定到地址,?AF_INET,以元组(host,port)的形式表示地址.

s.listen(backlog)

开始监听TCP传入连接。backlog指定在拒绝连接之前,操作系统可以挂起的最大连接数量。该值至少为1,大部分应用程序设为5就可以了。

s.accept()

接受TCP连接并返回(conn,address,其中conn是新的套接字对象,可以用来接收和发送数据。address是连接客户端的地址。

客户端socket函数

s.connect(address)

连接到address处的套接字。一般address的格式为元组(hostname,port),如果连接出错,返回socket.error错误。


s.connect_ex(adddress)

功能与connect(address)相同,但是成功返回0,失败返回errno的值。

公共socket函数

s.recv(bufsize[,flag])

接受TCP套接字的数据。数据以字符串形式返回,bufsize指定要接收的最大数据量。flag提供有关消息的其他信息,通常可以忽略。

s.send(string[,flag])

发送TCP数据。将string中的数据发送到连接的套接字。返回值是要发送的字节数量,该数量可能小于string的字节大小。

s.sendall(string[,flag])

完整发送TCP数据。将string中的数据发送到连接的套接字,但在返回之前会尝试发送所有数据。成功返回None,失败则抛出异常。


s.recvfrom(bufsize[.flag])

接受UDP套接字的数据。与recv()类似,但返回值是(data,address)。其中data是包含接收数据的字符串,address是发送数据的套接字地址。


s.sendto(string[,flag],address)

发送UDP数据。将数据发送到套接字,address是形式为(ipaddrport)的元组,指定远程地址。返回值是发送的字节数。

s.close()

关闭套接字。


s.getpeername()

返回连接套接字的远程地址。返回值通常是元组(ipaddr,port)。


s.getsockname()

返回套接字自己的地址。通常是一个元组(ipaddr,port)


s.setsockopt(level,optname,value)

设置给定套接字选项的值。


s.getsockopt(level,optname[.buflen])

返回套接字选项的值。


s.settimeout(timeout)

设置套接字操作的超时期,timeout是一个浮点数,单位是秒。值为None表示没有超时期。一般,超时期应该在刚创建套接字时设置,因为它们可能用于连接的操作(如connect()


s.gettimeout()

返回当前超时期的值,单位是秒,如果没有设置超时期,则返回None


s.fileno()

返回套接字的文件描述符。


s.setblocking(flag)

如果flag0,则将套接字设为非阻塞模式,否则将套接字设为阻塞模式(默认值)。非阻塞模式下,如果调用recv()没有发现任何数据,或send()调用无法立即发送数据,那么将引起socket.error异常。


s.makefile()

创建一个与该套接字相关连的文件

TCP编程

服务端
  1. 创建Socket,绑定Socket到本地IP和端口
  2. 开始监听连接
  3. 进入循环,不断接收客户端的连接请求
  4. 接收传来的数据,并发送给对方数据、
  5. 传输完毕后,关闭Socket
# coding=utf8
"""
1. 创建Socket,绑定Socket到本地IP和端口
2. 开始监听连接
3. 进入循环,不断接收客户端的连接请求
4. 接收传来的数据,并发送给对方数据
5. 传输完毕后,关闭Socket
"""
import socket
import threading
import time


def dealClient(sock, addr):
    # 4. 接收传来的数据,并发送给对方数据
    print 'Accept new connection from %s:%s...' % addr
    sock.send(b'Hello, I am server!')
    while True:
        data = sock.recv(1024)
        time.sleep(1)
        if not data or data.decode('utf-8') == 'exit':
            break
        print '-->>%s!' % data.decode('utf-8')
        sock.send('Loop_Msg: %s!' % data.decode('utf-8').encode('utf-8'))
    # 5. 传输完毕后,关闭Socket
    sock.close()
    print 'Connection from %s:%s closed.' % addr

if __name__ == '__main__':
    # 1. 创建Socket,绑定Socket到本地IP和端口
    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    s.bind(('127.0.0.1',9999))
    # 2. 开始监听连接
    s.listen(5) # listen(n)传入的值, n表示的是服务器拒绝(超过限制数量的)连接之前,操作系统可以挂起的最大连接数量。n也可以看作是"排队的数量"
    print 'Waiting for connection...'
    # 3. 进入循环,不断接收客户端的连接请求
    while True:
        sock, addr = s.accept()
        t = threading.Thread(target=dealClient, args=(sock, addr))
        t.start()
客户端
  1. 创建Socket,连接远端地址
  2. 连接后发送数据和接收数据
  3. 传输完毕后,关闭Socket
# coding=utf8
"""
1. 创建Socket,连接远端地址
2. 连接后发送数据和接收数据
3. 传输完毕后,关闭Socket
"""
import socket
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('127.0.0.1', 9999))
print '-->>'+s.recv(1024).decode('utf-8')
s.send(b'Hello I am a client')
print '-->>'+s.recv(1024).decode('utf-8')
s.send(b'exit')
s.close()

Python爬虫--网络编程

标签:ima   dal   客户   相关   pad   color   浮点   table   没有   

原文地址:https://www.cnblogs.com/lykxbg/p/11991922.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!