码迷,mamicode.com
首页 > 其他好文 > 详细

说说这些年做的云计算和大数据项目

时间:2017-05-14 14:24:19      阅读:163      评论:0      收藏:0      [点我收藏+]

标签:播放   维数   知识   应该   相同   节点   速度   超级计算机   大数据   

         入行十几年了,做了不少分布计算、并行计算、内存计算、海量数据处理的项目。依照如今的分类,这些都属于云计算/大数据范畴。今天说说我做过的当中三个项目。仅仅三个。
         第一个是我们接到的视频分享站点的视频转码的订单。站点名字就不说了,有替人宣传嫌疑。他们情况是这样,视频站点的内容用MP4格式在网页上播放,可是上传的格式多种多样,我们必须把这些视频统一转换成MP4格式,视频转码的工作想必大家都在自己的电脑上试过,通常一个100M左右的视频转码须要20分钟以上(CPU是Pentium IV)。为了提高转码效率,让用户以接近实时得到结果。必须在收完视频后。马上将一个视频拆分成多个单元,分散到多台计算机上进行转码。然后回收全部转码视频,依照顺序再次组合成一个新视频。我预计如今视频站点都是这个套路。我们这个团队最早是做流媒体起家的,工作没什么难度,轻车熟路。非常快就完毕了。

仅仅要机器足够多,视频差点儿相同能够以接近实时的状态完毕转码。

后来又再一次改进。从用户上传视频開始马上进行转码。收到一段转一段,用户的视频上传完毕。我们的转码工作也完毕。用户能够马上看到自己上传的转码后视频,基本上是零延时,而且稳定性、效率都高于对方提出的要求。做完这个。合作方老板非常惬意,接着又给了一个CDN的项目。如今我们仍保持着合作的关系。    
         第二个有点玄乎。项目能够写一篇论文,题目是《关于空中移动目标执行轨迹和落点的问题》。这个项目是XXX发下来的,实质就是炮弹打导弹,大概是想看看能不能打着,论证技术可行性。当时人还在某单位。由于研究领域和空气动力学毫不相关,所以这方面的知识基本属于文盲,知道的也就是那么几个有限的名词和数学公式。可是这正好符合XXX的要求,不须要我们懂这些高深的理论,他们派人和我们合作这个项目。我们的工作就是把非常多传感器(他们没明说。可是地球人都明确这东西应该是雷达)接收的数据,包含当前多少公里范围内的空气的风速、风向、地表的曲面率。还有其他一些指标在收集后(这些瞬间产生的三维数据的数据量非常大),分散到一大堆计算机上去执行(測试时准备了100个节点),而且要非常快计算出结果(必须比空中运动的目标快)。这事实上和如今的SPARK、STORM做的工作非常象。要依赖大内存、高性能CPU、和快速网络,跳过硬盘这个瓶颈。才干得以实现快速计算。这个项目花了非常长时间,主要是与合作方的沟通改进。然后是再沟通再改进,循环往复。周而复始。

后来最终完毕了。据说做了试验,可行性非常高,上面领导非常惬意,还摆了庆功酒。

反正我没见着也没喝着。事实上他们怎么计算的,我到最后也没有搞明确,问过一次,说是秘密。  
         第三个和两桶油的页岩气有关。

当时的情况是在四川涪陵(这个地方产榨菜)发现了大面积的天然气。

依照自然规律,油气是共生的,所以两桶油想通过採集页岩样本,分析这个地区地下有没有石油资源。假设有。是不是具有开採价值。

这套程序原本已经是有的。艾克森.美孚石油公司开发的,跑在CARY-1向量机上。

那套机器是上世纪七八十年代的超级计算机,在当时已经不能满足须要,属于进博物馆之列。并且有些数据分析理论已经过时。须要调整。

两桶油最不惬意的还是速度太慢。计算一次要几小时几天才干出结果。

这一次又是合作,两桶油出熟悉採油的技术专家。我们出并行计算的码农,前前后后合作弄了大半年,算是完毕了。这次我们用了新的并行算法。效率提高了一大截。和上次炮弹打导弹一样,整个项目静悄悄開始。静悄悄结束,后面怎么样就不知道了。

说说这些年做的云计算和大数据项目

标签:播放   维数   知识   应该   相同   节点   速度   超级计算机   大数据   

原文地址:http://www.cnblogs.com/clnchanpin/p/6852391.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!