mongodb三种存储引擎高并发更新性能专题测试

时间：2017-02-25 13:53:17 阅读：350 评论：0 收藏：0 [点我收藏+]

背景说明

近期北京理财频道反馈用来存放股市实时数据的MongoDB数据库写响应请求很慢，难以跟上业务写入速度水平。我们分析了线上现场的情况,发现去年升级到SSD磁盘后，数据持久化的磁盘IO开销已经不是瓶颈.通过日志分析，线上单次写入(更新)请求大多在数十毫秒这个级别，数据库端观察几个主要的db在繁忙时通常有95%以上的时间在进行锁等待。线上数据库并发很高,接近1000个连接，所以怀疑是并发争用表锁导致性能不足。

我们知道MongoDB的mmap存储引擎一直是库/表级锁，因此任何写操作并发越高锁争用造成的性能损耗越大。为了改善锁并发性能MongoDB，升级到行级锁引擎应该能够改善线上更新数据的性能瓶颈。3.0的WT存储引擎和toku开发的tokumx存储引擎都号称实现了行级锁和多版本并发控制。因此，为了确定我们升级的方向，决定使用线上类似的场景，对三种存储引擎进行一次性能测试，评估最能改善并发更新写的方案。

我们取得了线上最繁忙的stock和stock_status数据，并且仿照线上并发更新最频繁的根据证券code更新的方式，在测试环境进行测验。

硬件环境

CPU: 24 核 Intel(R) Xeon(R) CPU E5-2630 0 @ 2.30GHz

内存: 48G

磁盘: SSD

MongoDB版本

1. Mmap存储引擎 MongoDB-2.6.9

2. Toku存储引擎 MongoDB-2.4.10

3. WiredTiger存储引擎 MongoDB 3.0.5

测试用例

从线上将股票信息表数据导入测试环境，创建与线上一致的索引，股票码code_id为唯一索引。

单纯写测试：从股票表stock中抽取1000个code_id，用随机函数获取其中一个code_id，对这一行数据进行一次update操作；

读写混合测试：在一定并发度的写操作情况下，以同样并发度通过code_id读取一行数据，读写混合比例为1:1。

测试脚本

1.写测试脚本

#! /usr/bin/env python
# -*- coding: utf-8 -*-

import multiprocessing
import time
import random
import pymongo

client = pymongo.MongoClient("172.17.1.234", 27017)
db = client.stock

def get_id():
  code_list = [1000个code_id]
  code_loct = random.randint(0, 999)
  up_value  = random.randint(10, 99)/10.0
  return code_list[code_loct], up_value

def update_func():  
  while True:
    code_id, up_value = get_id()    
    db.stock.update_one({"CODE":str(code_id)},{"$set":
{"ASK1":str(up_value),"ASK2":str(up_value),"ASK3":str(up_value),"ASK4":str(up_value),"ASK5":str(up_value),"ASKVOL1":str(up_value),"ASKVOL2":str(up_value),"ASKVOL3":str(up_value),"ASKVOL4":str(up_value),"ASKVOL5":str(up_value),"BID1":str(up_value),"BID2":str(up_value),"BID3":str(up_value),"BID4":str(up_value),"BID5":str(up_value)}})

if __name__ == "__main__":
  pool = multiprocessing.Pool(processes=并发度)  
  for i in xrange(10000000):
    pool.apply_async(update_func,)
  pool.close()
  pool.join()  
  print "\n"  print "All done."

2.读测试脚本

#! /usr/bin/env python
# -*- coding: utf-8 -*-

import multiprocessing
import time
import random
import pymongo

client = pymongo.MongoClient("172.17.1.234", 27017)
db = client.stock

def get_id():
  code_list = [1000个code_id]
  code_loct = random.randint(0, 499)  
  return code_list[code_loct]

def update_func(): 
 while True:
    code_id = get_id()    
 db.stock.find_one({"CODE":str(code_id)},{"CODE":1,"ASK1":1,"ASK2":1})

if __name__ == "__main__":
  pool = multiprocessing.Pool(processes=并发度)  
  for i in xrange(1000000):
     pool.apply_async(update_func,)
  pool.close()
  pool.join()  
  print "\n"
  print "All done."