码迷,mamicode.com
首页 > 编程语言 > 详细

多线程处理海量数据的解决方案

时间:2017-08-01 00:25:58      阅读:219      评论:0      收藏:0      [点我收藏+]

标签:sof   修复   仓库   海量数据   无法   解决办法   处理海量数据   mic   问题:   

背景:

  近期发现系统数据有不准确的现象发生,究其原因是因为上有数据导致的,而由于上游有多个渠道组成,所以无法要求上游统一修复数据。所以只能自己想办法每天修复错误数据。

初步解决方案:

  1,从商城库存那边拿到所有SKU+库存的信息。

  2,通过拿到的SKU+库存信息,修复现有的数据。

遇到的问题:

  1,库存那边的数据是以SKU+仓库id+配送中心id为维度,但是我们这边需要的是SKU+ORG维度。

  2,全量库存数据有1.2个亿。

解决办法:

  1,先把库存的原始数据(SKU+仓库ID+配送中心id)数据落地。

  2,将原始数据清洗为SKU+ORG维度。

  3,将清洗好的数据中过滤掉,不需要的库存信息。

  4,开启多个多线程同时修复数据。

 

多线程部分:

  共同时开启4个线程(0、1、2、3),用SKU_ID对4取模

  也就是说:

  线程0处理的数据范围为:SKU_ID%4=0 的数据。

  线程1处理的数据范围为:SKU_ID%4=1 的数据。

  线程2处理的数据范围为:SKU_ID%4=2 的数据。

  线程3处理的数据范围为:SKU_ID%4=3 的数据。

 

每个线程,每次再分页处理数据,即可。经过尝试,1.2个亿的数据分4个线程大概半个小时,即可处理完。

多线程处理海量数据的解决方案

标签:sof   修复   仓库   海量数据   无法   解决办法   处理海量数据   mic   问题:   

原文地址:http://www.cnblogs.com/FranklinD/p/7266362.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!