码迷,mamicode.com
首页 > 其他好文 > 详细

认知大数据之初

时间:2014-11-07 16:57:35      阅读:159      评论:0      收藏:0      [点我收藏+]

标签:大数据   分布式   hadoop   

关于大数据的概念在很早以前就被提出来了,但真正的使用到大数据却不是很多,要么是条件有限,要么是技术有限,而就我个人而言,我真的还没接触过所谓的大数据,只是看到各种书籍及资料的介绍而已。现在我就说下我对大数据的了解及看法吧,可能以后实践多了再加以补充。

首先我个人认为google的大数据做的真心是牛,关于hadoop的资料我看过一点,里面涉及到的分布式的想法就很值得学习,当然确实也比较有效,我自己本地就一台电脑,所以打个环境也还是通过虚拟机来实现的,如果有机会我想我一定要亲自去搭建一个真实的数据服务器集群,感受一下大数据带来快感。一般的公司都没有达到使用大数据的条件,所处理的数据也就百万左右,像谷歌这样的数据量的公司搜索速度上还如此的快,确实令人惊讶。虽然我们可能还用不到,但是未来发展的趋势肯定是大数据,那么为此我们就要多了解下大数据相关的技术,如hadoop,mapreduce等等,起码说要知道他们的思想,如果说能掌握里面的算法就再好不过了。

每一个公司都想要像百度、谷歌、淘宝一样强大,但如果你真的做到了那么强大,你的数据服务器会像他们现在这样快么,我估计很难。有一些网站数据量才10万的级别就卡的不得了,当然也不排除服务器、网速、及其他硬件问题所导致的。百度的服务器配置也一定很强大。可是要处理这么大的数据量,没有一定的分布式是绝对处理不了的。

如果可以,我希望自己可以去运维那边去感受一下,如何去搭建这样的大型分布式的系统。以后如果真的自己去实践了,一定会回来补充这篇文章的。fighting go.

认知大数据之初

标签:大数据   分布式   hadoop   

原文地址:http://blog.csdn.net/q7forever/article/details/40894899

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!