码迷,mamicode.com
首页 > 其他好文 > 详细

用户增长量统计项目实现过程踩坑总结

时间:2017-08-17 19:58:09      阅读:172      评论:0      收藏:0      [点我收藏+]

标签:多进程、多线程、crontab

    最近一段时间在做一个用户访问量统计的小项目,主要实现根据打包好的rdb文件进行解析、统计,然后存到pika,然后取到用户key并统计访问量的增长并将数据推到 grafana 进行展示。在代码实现及部署过程中遇到了一些问题,总结出来,以备后续参考。欢迎批评指正,共同学习!


一、在函数中使用多进程正常执行,在类中出现报错 

技术分享解决方式如下:

1、导入模块: 

import types
import copy_reg

2、增加函数 

def _pickle_method(m):
    if m.im_self is None:
        return getattr, (m.im_class, m.im_func.func_name)
    else:
    return getattr, (m.im_self, m.im_func.func_name)
copy_reg.pickle(types.MethodType, _pickle_method)

3、在类中增加如下方法 

def __init__(self):
    self.__result = []
def result_collector(self, result):
    self.__result.append(result)


二、多进程的重复使用 

    在实现Redis key 的读写采集过程中,在数据采集中用到多进程提高效率,在得到结果往 pika 中存储 key 时,为提高效率,想采用多进程,但测试发现多进程嵌套使用多进程,会出现如下问题 :

    Queue objects should only be shared between processes through inheritance

后来考虑到往pika中存数据属于io密集型的操作,因此,采用了多线程,解决了这一问题。这里涉及到多线程如何使主进程等待多个子线程执行完毕,解决方式如下: 

t_objs = []
for i in range(100):
    t = threading.Thread(target=self.batch_send_pika,args=(set_key, redis_port, all_batch_message[i]))
    t.start()
    t_objs.append(t)
for t in t_objs:
    t.join() #等待线程的执行结果


三、多进程之间多个Queue实现数据共享

    在实现用户读写访问量统计的过程中,由于每条产品线涉及多个端口,每条产品线又有多条规则,为了提高效率,因此对同一条产品线的不同端口采用多进程来实现,要统计同一产品线的用户增长量,就需要对同一规则不同端口之间的数据进行汇总求和,这里就涉及到每条规则启动一个Queue,对不同的端口采集到的数据存到Queue中,然后进行统计。因为要启动多个Queue,还要保证数据和的准确性,这里遇到了一些坑。尝试通过循环拼接字符串启动Queue、尝试过将Queue启动后加入列表作为参数进行传递使用,但是都没有成功,后来通过查资料学习,解决了这一问题。解决方式如下: 

from multiprocessing import Queue,Manager
    
q_list = []
for i in range(len(rule_list)):
    q_name = "q" + str(i)
    manager = Manager()
    q_name = manager.Queue()
    q_list.append(q_name)

然后将q_list作为参数进行传递即可 


四、crontab报错

在使用计划任务时未修改成功,遇到如下报错

crontab: installing new crontab

crontab: error while writing new crontab to /var/spool/cron/tmp.XXXXa2LhEO

crontab: edits left in /tmp/crontab.rEpgqL

解决方式如下:

查看磁盘空间和inode节点是否用尽

技术分享

技术分享

这里发现/var 目录磁盘空间已经用尽将/var 下无用的文件进行删除,解决了这一问题

技术分享


本文出自 “10917734” 博客,请务必保留此出处http://10927734.blog.51cto.com/10917734/1957082

用户增长量统计项目实现过程踩坑总结

标签:多进程、多线程、crontab

原文地址:http://10927734.blog.51cto.com/10917734/1957082

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!