读《《Hadoop核心技术》作者翟周伟 ：我与Hadoop的不解之缘》总结

标签：

原文网址：http://www.csdn.net/article/1970-01-01/2824661

1.Hadoop在百度得使用

   Hadoop在百度的应用领域主要包括：大数据挖掘与分析，日志分析平台，数据仓库系统，用户行为分析系统，广告平台等存储与计算服务。

   目前百度的Hadoop集群规模已经超过数十个至多，单集群节点数目超过5000台，每天处理的数据量超过8000TB。同时百度在Hadoop的基础上还开发了自己的日志分析平台、数据仓库系统，以及统一C++编程接口，并对Hadoop深度改造，开发了性能更强的HCE（Hadoop C++ Extend Systerm）系统。

2.Hadoop的学习之路

  早在2009年的时候我们就尝试使用Hadoop技术为中国电信研究院，移动研究院等机构构建大数据云平台并作为生产平台为线上业务提供云存储与计算分析服务。这在当时来讲是国内将Hadoop落地应用的最早实践者之一。

  在最初参与开发这些项目的时候我还并不是核心成员，而我要做的就是在项目中不断学习并积累Hadoop和大数据相关知识，最重要的就是在项目开发过程中证明自己，证明自己有足够的知识积累和能力完成项目并超出预期，当然在这个过程中也会遇到一些困难和挫折，例如数据的产出和预期不符，系统性能遇到瓶颈等问题，在面对这些问题的时候首先就是不能怕，对自己能解决这些问题要有足够的信心，然后就是认真分析问题，一步一步DEBUG定位问题，最终就可以解决掉这些问题，这也是一个艰苦的工作，不过我更享受成功后的那种喜悦之情，因为我喜欢技术挑战。

读《《Hadoop核心技术》作者翟周伟 ：我与Hadoop的不解之缘》总结

标签：

原文地址：http://www.cnblogs.com/hqt2050/p/4974572.html