Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。课程简介大数据时代的精髓技术在于Hadoop、Yarn、Spark，是大数据时代公司和个人必须掌握和使用的核心内容。Hadoop、Yarn、Spark是Yahoo！、...
分类：
其他好文 时间：
2014-12-24 22:44:20
阅读次数：
277
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。Yarn是目前公认的最佳的分布式集群资源管理框架； Mahout是目前数据挖掘领域的王者； 工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出：“2012...
分类：
其他好文 时间：
2014-12-24 22:41:30
阅读次数：
305
1、hadoop版本介绍0.20.2版本以前（不含该版本）的配置文件都在default.xml中。0.20.x以后的版本不含有eclipse插件的jar包，由于eclipse的版本不一，所以就需要自己编译源码生成对应的插件。0.20.2——0.22.x版本的配置文件集中在conf/core-site...
分类：
其他好文 时间：
2014-12-22 10:50:16
阅读次数：
197
“兵马未动，粮草先行”，要想深入的了解hadoop，我觉得启动或停止hadoop的脚本是必须要先了解的。说到底，hadoop就是一个分布式存储和计算框架，但是这个分布式环境是如何启动，管理的呢，我就带着大家先从脚本入手吧。说实话，hadoop的启动脚本写的真好，里面考虑的地方非常周全（比如说路径中有...
分类：
其他好文 时间：
2014-12-22 10:49:29
阅读次数：
265
hadoop是有apache基金会所开发的分布式系统基础架构，其主要提供了两方面的功能：分布式存储和分布式计算。 其中分布式存储是分布式计算的基础，在hadoop的实现里面，提供了分布式存储的接口，并自己实现了一个分布式存储的实现即HDFS,但并不代表 hadoop只支持HDFS这一中实现，其同时支...
分类：
其他好文 时间：
2014-12-22 10:47:29
阅读次数：
164
了解hadoop，首先就需要先了解hadoop的数据流，就像了解servlet的生命周期似的。hadoop是一个分布式存储（hdfs）和分布式计算框架（mapreduce），但是hadoop也有一个很重要的特性：hadoop会将mapreduce计算移动到存储有部分数据的各台机器上。术语 Ma...
分类：
其他好文 时间：
2014-12-22 10:46:04
阅读次数：
270
分布式文件系统即是网络中多台计算机组合在一起提供一个统一存储及管理的系统。 Hadoop提供了一个文件系统接口和多个分布式文件系统实现，其中比较重要的就是HDFS（Hadoop Distributed Filesystem）了。Hadoop是一个综合性的文件系统抽象，因此它也可以集成其他文件系统的实...
分类：
其他好文 时间：
2014-12-22 10:41:42
阅读次数：
278
hadoop的核心分为两块，一是分布式存储系统-hdfs，这个我已经在上一章节大致讲了一下，另一个就是hadoop的计算框架-mapreduce。 mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。 其计算分为两个阶段，map阶段和reduce阶段，都是对数据的处.....
分类：
其他好文 时间：
2014-12-22 10:40:34
阅读次数：
238
柯南君的公司最近产品即将上线，由于产品业务对图片的需求与日俱增，花样百出，与此同时，在大数据时代，大流量的冲击下，对图片服务器的压力可想而知，那么今天，柯南君结合互联网的相关热文，加上自己的一点实践经验，与君探讨，与君共勉！
一、图片服务器的重要性
当前，不管哪一家网站（包括 电商行业、O2O行业、互联网行业等），不管哪一种渠道 （包括 web端，APP端甚至一些SNS应用），在大数据时代下，...
分类：
其他好文 时间：
2014-12-20 18:19:57
阅读次数：
136
Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。大数据时代的精髓技术在于Hadoop、Yarn、Spark，是大数据时代公司和个人必须掌握和使用的核心内容。Hadoop、Yarn、Spark是Yahoo！、阿里淘宝...
分类：
其他好文 时间：
2014-12-20 02:06:55
阅读次数：
314
