码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop MapReduce HDFS 应用场景

时间:2015-10-29 11:32:14      阅读:214      评论:0      收藏:0      [点我收藏+]

标签:

Hadoop从存储上来说,是类似于冗余磁盘阵列(RAID)的存储方式,将数据分散存储并提供以提供吞吐量,它的存储系统就是HDFSHadoop Distuibute Fils System);从计算上来说,它通过MapReduce模型,将大数据的计算分发到多台计算机上完成,再将结果合并,减少计算的时间。

Hadoop适合于:

1、超大数据的计算;

2、一次写入、多次读取的模式;

3、可以跑在普通的硬件上。

 

Hadoop不适合:

1、低延迟的数据访问,它是为高数据吞吐量应用优化的;

2、大量的小文件

Hadoop客户端需要和namenode进行交互,而namenode中存放的是datanode的文件属性,且都是在内存中,如果小文件过多,namenode是存放不了的;

3、多用户写入,任意修改文件。

Hadoop适合于一次计算,多次读取的场景,如搜索引擎,只支持随机读取不支持随机写入,如HadoopLucene的集成就不能够直接集成,因为Lucene支持随机写入。


hadoop MapReduce HDFS 应用场景

标签:

原文地址:http://my.oschina.net/u/189445/blog/523409

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!