码迷,mamicode.com
首页 > 编程语言 > 详细

python-redis-pipe文件

时间:2017-04-15 13:43:21      阅读:248      评论:0      收藏:0      [点我收藏+]

标签:value   lin   val   pen   运行   logs   pytho   com   导入   

 redis导入数据比较头疼的事情,涉及几千万,导入还是很耗时,通过生成pipe文件的方式比较快捷。

 python3.6.1版本 在linux环境下运行

    with open("data1", "w") as f:
        for d in data:
            k = d["key"]
            v = d[‘value‘]
            f.write(‘*3\r\n$3\r\nset\r\n$%d\r\n%s\r\n$%d\r\n%s\r\n‘ %(len(bytes(k, ‘utf-8‘)), k, len(bytes(v, ‘utf-8‘)), v))

  

 python2.7

    for line in lines:
	line=line.strip(‘\n‘)
        jsonLine = json.loads(line)
        province = jsonLine["province"]
	if province == henan:
            key = jsonLine["company_name"]
            k = key.encode(‘utf-8‘)
	    v = line
            print ‘*3\r\n$3\r\nset\r\n$%d\r\n%s\r\n$%d\r\n%s\r\n‘ %(len(k), k, len(v), v),

  

 

127.0.0.1:6379> select 10
OK
127.0.0.1:6379[10]> dbsize
(integer) 2907521

  

python-redis-pipe文件

标签:value   lin   val   pen   运行   logs   pytho   com   导入   

原文地址:http://www.cnblogs.com/nidongde/p/6713781.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!