Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部署，本文将就Spark如何实现在Yarn...
分类：
其他好文 时间：
2014-05-16 04:20:26
阅读次数：
455
很多情况下，通过js（jQuery1.10）动态来创建一些样式，对页面的动态交互来说是很方便的
但是不同的浏览器针对动态生成的不是很兼容，在此遇见的不兼容ie8，跟各位分享下
代码：
json数据
data.json
[{"name":"ajax","job":"manong"},{"name":"js","job":"diaosi"}]
html页面
...
分类：
移动开发 时间：
2014-05-16 01:35:52
阅读次数：
359
#ifndef SWAP_H_INCLUDED#define
SWAP_H_INCLUDED#include using namespace std;struct Job{ string name; int
salary;};template void Swap(T &a, T &b);...
分类：
其他好文 时间：
2014-05-16 01:14:38
阅读次数：
340
数据导入HBase最常用的三种方式及实践分析
摘要：要使用Hadoop，需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言，有三种常见方式：使用HBase的API中的Put方法，使用HBase
的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。
【编者按】要使用Hadoop，数据合并至...
分类：
其他好文 时间：
2014-05-15 18:15:19
阅读次数：
495
前面提到，每一种Resource都对应一个ResourceProvider，下面给出其对应关系：
Resource.Type
ResourceProvider
Workflow
WorkflowResourceProvider
Job
JobResourceProvider
TaskAttem...
分类：
其他好文 时间：
2014-05-15 07:09:14
阅读次数：
348
接触了Spark也快有半年了，版本从0.8.0到现在的1.0.0SNAPSHOT，从头到尾被spark这个优秀的框架深深吸引，也为scala的优雅所折服。4.19日“2014 中国Spark技术峰会”召开，可以看出随着Spark技术的完善，越来越多的企业已经开始使用或开始关注Spark的发展了。回顾学习过程，觉得很有必要整理一份学习路线，对所学的内容加以沉淀，同时也为同行作为参考。因为Spark1...
分类：
其他好文 时间：
2014-05-15 06:07:33
阅读次数：
357
本篇的配置环境是基于HDFS HA系列实验之二：HA+JournalNode+zookeeper 上进行的。1：原理图 A：实验环境之组成DNS：productserverHA1（nameservices为cluster1）：product201、product202HA2（nameservices为cluster2）：product211、product212DN：product203、p...
分类：
其他好文 时间：
2014-05-15 05:59:29
阅读次数：
323
ReduceTask的运行
Reduce处理程序中需要执行三个类型的处理，
1.copy,从各map中copy数据过来
2.sort,对数据进行排序操作。
3.reduce,执行业务逻辑的处理。
ReduceTask的运行也是通过run方法开始，
通过mapreduce.job.reduce.shuffle.consumer.plugin.class配置shuffle的plugin,
...
分类：
其他好文 时间：
2014-05-14 20:23:57
阅读次数：
519
6安装maven下载地址：http://maven.apache.org/download.cgi解压安装unzip–oapache-maven-3.2.1-bin.zipmvapache-maven-3.2.1maven配置环境变量MAVEN_HOME=/usr/local/mavenexportPATH=$MAVEN_HOME/bin:$PATH7java环境自动构建部署7.1新建job输入名称如下图输入SVN服务器地址?.
分类：
编程语言 时间：
2014-05-14 15:44:56
阅读次数：
460
MapTask运行通过执行.run方法：
1.生成TaskAttemptContextImpl实例，此实例中的Configuration就是job本身。
2.得到用户定义的Mapper实现类，也就是map函数的类。
3.得到InputFormat实现类。
4.得到当前task对应的InputSplit.
5.通过InputFormat,得到对应的RecordReader。
6.生成Re...
分类：
其他好文 时间：
2014-05-14 14:31:59
阅读次数：
381
