码迷,mamicode.com
首页 > 数据库 > 详细

异步操作redis,mysql

时间:2020-12-28 11:42:18      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:内部使用   utf8   cli   operation   connect   range   enc   增加   pre   

uvloop

asyncio 的事件循环的替代方案
效率默认大于asyncio的事件循环
性能是更高的
性能接近go

pip install uvloop

import asyncio
import uvloop

asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())

...

asgi-->uvicorn
内部使用的是uvlooop





异步操作redis
在我们操作redis的时候,连接,操作,断开都是网络io
asyncio 提高并发

pip install aioredis


import asyncio
import uvloop

asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())
import aioredis

async def execute(address,password):
print(‘开始执行‘,address)

redis = await aioredis.create_redis(address)

await redis.hmset_dict(‘car‘,key1=1,key2=2,key3=3)

res = await redis.hgetall(‘car‘,encoding=‘utf8‘)
print(res)

redis.close()

await redis.wait_closed()
print(‘结束‘,address)


asyncio.run(execute(‘redis://127.0.0.1:6379‘,password=‘‘))



import asyncio
import uvloop

asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())
import aioredis

async def execute(address,password):
print(‘开始执行‘,address)

redis = await aioredis.create_redis(address)

await redis.hmset_dict(‘car‘,key1=1,key2=2,key3=3)

res = await redis.hgetall(‘car‘,encoding=‘utf8‘)
print(res)

redis.close()

await redis.wait_closed()
print(‘结束‘,address)


# asyncio.run(execute(‘redis://127.0.0.1:6379‘,password=‘‘))

task_list = [
execute(‘redis://127.0.0.1:6379‘,password=‘‘) for i in range(0,10000)
]
asyncio.run(asyncio.wait(task_list))

# aioredis.errors.MaxClientsError: ERR max number of clients reached

通过lsof -p pid |wc -l ,发现连接数量超过10500. 出错。

解决方法1:

1. 增加redis的最大连接数:修改redis.conf文件的maxclient ,修改到20000.

2. 一般redis的连接使用完毕之后会释放,如果要用lsof命令发现链接始终没有减少,则检查代码,看下使用redis的代码部分是否执行类似close()的函数。将资源进行释放

import asyncio
import uvloop

asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())
import aioredis

async def execute(address,password):
print(‘开始执行‘,address)
try:
redis = await aioredis.create_redis(address)

await redis.hmset_dict(‘car‘,key1=1,key2=2,key3=3)

res = await redis.hgetall(‘car‘,encoding=‘utf8‘)
print(res)

redis.close()

await redis.wait_closed()
print(‘结束‘,address)

except aioredis.errors.MaxClientsError as e :
print(e)
await asyncio.sleep(10)
# asyncio.run(execute(‘redis://127.0.0.1:6379‘,password=‘‘))

task_list = [
execute(‘redis://127.0.0.1:6379‘,password=‘‘) for i in range(0,10000)
]
asyncio.run(asyncio.wait(task_list))

# aioredis.errors.MaxClientsError: ERR max number of clients reached



异步操作mysql

pip install aiomysql


import aiomysql
import asyncio
import pymysql

async def execute(host,user,pwd):
try:

conn = await aiomysql.connect(host=host,port=3306,user=user,password=pwd)

cur = await conn.cursor()

await cur.execute("select host,user from mysql.user;")

res = await cur.fetchall()

print(res)

await cur.close()
conn.close()
except pymysql.err.OperationalError as e :
asyncio.sleep(10)

host=‘127.0.0.1‘
user=‘root‘
pwd=‘1234‘
task_list =[
execute(host,user,pwd) for i in range(10000)
]
asyncio.run(asyncio.wait(task_list))

# pymysql.err.OperationalError: (2003, "Can‘t connect to MySQL server on ‘127.0.0.1‘")







异步操作redis,mysql

标签:内部使用   utf8   cli   operation   connect   range   enc   增加   pre   

原文地址:https://www.cnblogs.com/lzjloveit/p/14172655.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!