Hadoop ->> 关于数据分割（Data Split）的思考

标签：

今天开始学习Hadoop这门热门的数据库技术。直接从被奉为Hadoop圣经的《Hadoop The Definitive Guide 4th Edition》入手。第一章作者写到一个关于分布型数据库系统在处理数据分割时的两种方法：1）按照某个单位（诸如年份或者数值范围）；2）均匀分割所有数据到若干份（分布式计算机的数量）；

第一种方法可能的问题是分割后数据块的大小不一，像以年份为例，很可能出现最小份和最大份的数量级差异很大。这样最后那个最大的就会成为其他任务的等待。第二种方法的问题是实现起来要比第一种方法复杂，因为均匀分割需要计算好每个块的边界。两种方法都需要在子节点结算完后找一个地方进行数据汇总再做最后的计算，虽然这时候可能数据集经过子节点的计算后可能已经是一个相对较小的结果集了，可是要在哪汇总，哪一台机器上汇总是一个问题？

第二种方法显然比第一种方法具有优势。假设第一种方法以年份为单位，万一我现在分析的只是单个年份的数据，难不成只能用一台机器来运算？第二种方法相对灵活。但是我觉得它也不是万能的，实现起来的话其实还是挺难的，分割的规则不一，比如运算一是需

Hadoop ->> 关于数据分割（Data Split）的思考

标签：

原文地址：http://www.cnblogs.com/jenrrychen/p/4855646.html