前言 hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。 hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，...
分类：
其他好文 时间：
2015-01-03 13:11:26
阅读次数：
310
2015年其实才真正算的上是我的大数据元年，我需要在这一年中为自己的职业发展打好地基，所以需要做到但不限于：1、熟练使用mr,yarn,spark(spark sql,spark streaming,ml....),hive,mahout,hbase进行开发，并熟悉调优，及其中的执行原理。2、阅读f...
分类：
其他好文 时间：
2014-12-31 07:35:26
阅读次数：
219
一、概述Ha,已经有两个月没有更新blog了。由于近排公司需要引入Spark相关技术，我也是作为技术攻关人员之一，在这段时间使用Spark遇到了挺多问题，跌的坑也比较多，这篇blog主要总结一下这段时间使用Spark遇到的一些问题。二、遇到的"坑"和爬坑思路1、SparkSqlonyarn-client模..
分类：
其他好文 时间：
2014-12-31 06:34:20
阅读次数：
1157
1、下载并编译spark源码下载sparkhttp://spark.apache.org/downloads.html我下载的是1.2.0版本解压并编译，在编译前，可以根据自己机器的环境修改相应的pom.xml配置，我的环境是hadoop2.4.1修改个小版本号即可，编译包括了对hive、yarn、ganglia等的支持tarxzf~/source/spark-1..
分类：
其他好文 时间：
2014-12-29 18:36:06
阅读次数：
5133
本文hadoop版本为最新版本2.6。Configuration做为Hadoop的一个基础功能承担着重要的责任，为Yarn、HSFS、MapReduce、NFS、调度器等提供参数的配置、配置文件的分布式传输(实现了Writable接口)等重要功能。 Hadoop的加载配置文件的功能没有采用Ja...
分类：
其他好文 时间：
2014-12-28 15:33:26
阅读次数：
134
1.[译]下一代的HadoopMapreduce–如何编写YARN应用程序http://www.rigongyizu.com/hadoop-mapreduce-next-generation-writing-yarn-applications/
分类：
其他好文 时间：
2014-12-25 18:42:21
阅读次数：
117
Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。课程简介大数据时代的精髓技术在于Hadoop、Yarn、Spark，是大数据时代公司和个人必须掌握和使用的核心内容。Hadoop、Yarn、Spark是Yahoo！、...
分类：
其他好文 时间：
2014-12-24 22:44:20
阅读次数：
277
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。Yarn是目前公认的最佳的分布式集群资源管理框架； Mahout是目前数据挖掘领域的王者； 工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出：“2012...
分类：
其他好文 时间：
2014-12-24 22:41:30
阅读次数：
305
二、Hadoop伪分布式模式配置
本实验需要按照上一节单机模式部署后继续进行操作
1. 配置core-site.xml, hdfs-site.xml，mapred-site.xml及yarn-site.xml
1).修改core-site.xml:
$ sudo gvim /usr/local/hadoop/etc/core-site.xml
configurat...
分类：
其他好文 时间：
2014-12-23 21:11:31
阅读次数：
173
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。Yarn是目前公认的最佳的分布式集群资源管理框架；Mahout是目前数据挖掘领域的王者；工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出：“2012年美...
分类：
其他好文 时间：
2014-12-23 06:40:35
阅读次数：
183
