u-boot下载地址:ftp://ftp.denx.de/pub/u-boot/u-boot-2013.01.01.tar.bz2下载之后对该文件进行解压。我试着分析smdk2410_config对应的代码执行流程,接触u-boot时间较短,有不周之处还请见谅。通常执行u-boot第一步就是进行开发...
分类:
其他好文 时间:
2014-05-14 14:04:19
阅读次数:
433
简介
本文档对从 Apache Hadoop 1.x 迁移他们的Apache Hadoop MapReduce 应用到
Apache Hadoop 2.x 的用户提供了一些信息。
在 Apache Hadoop 2.x 中,我们已经把资源管理功能放入 分布式应用管理框架 的Apache
Hadoop YARN,而 Apache Hadoop MapReduce (亦称 MRv2) 保持...
分类:
其他好文 时间:
2014-05-14 00:55:11
阅读次数:
294
1、首先利用http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/搭建好的Eclipse(Scala)开发平台编写scala文件,内容如下:import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
object HdfsWordCount {...
分类:
其他好文 时间:
2014-05-13 05:35:12
阅读次数:
379
一、操作系统中线程和进程的概念 现在的操作系统是多任务操作系统。多线程是实现多任务的一种方式。
进程是指一个内存中运行的应用程序,每个进程都有自己独立的一块内存空间,一个进程中可以启动多个线程。比如在Windows系统中,一个运行的exe就是一个进程。
线程是指进程中的一个执行流程,一个进程中可以运...
分类:
编程语言 时间:
2014-05-12 14:41:33
阅读次数:
362
MySQL查询执行流程查询流程:客户端发送一条查询给服务器;服务器先检查查询缓存,如果命中了缓存,则立即返回存储在缓存中的结果;否则,进入下一阶段;服务器进行SQL解析、预处理,再由优化器生成对应的执行计划;MySQL根据优化器生成的执行计划,调用存储引擎的API来执行查询;将结果返回给客户端;查询...
分类:
数据库 时间:
2014-05-12 12:10:40
阅读次数:
427
原文:MySQL
查询缓存MySQL查询执行流程查询流程:客户端发送一条查询给服务器;服务器先检查查询缓存,如果命中了缓存,则立即返回存储在缓存中的结果;否则,进入下一阶段;服务器进行SQL解析、预处理,再由优化器生成对应的执行计划;MySQL根据优化器生成的执行计划,调用存储引擎的API来执行查询...
分类:
数据库 时间:
2014-05-12 08:49:33
阅读次数:
432
Web应用代理是YARN的一部分. 默认地,它会作为 Resource Manager(RM)的一部分来运行, 但是也可以配置成独立运行的模式。使用代理的原因就是降低通过YARN的web攻击的可能性。
在YARN中,Application Master(AM) 有责任提供web界面并把链接发给RM。这给一些可能的问题打开了大门。 RM 作为一个可信的用户在运行,访问那个web地址的用户会认...
分类:
Web程序 时间:
2014-05-11 20:27:52
阅读次数:
323
目的
此文档描述了 FairScheduler,
Hadoop 的一个可插入式的调度器,允许 YARN 应用在一个大集群中公平地共享资源。
简介
公平调度是一种分配资源给应用的方法,以致到最后,平均上所有应用获得相等的资源。 Hadoop NextGen 能够调度多种类型的资源。默认的, Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类:
其他好文 时间:
2014-05-11 13:05:57
阅读次数:
393
首先,来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass
ClientHelper(conf: Configuration) extends Logging { val yarnClient =
YarnClient.createYa....
分类:
移动开发 时间:
2014-05-10 22:39:32
阅读次数:
656
运行脚本,提交job往YARN提交Samza
job要使用run-job.sh这个脚本。samza-example/target/bin/run-job.sh
--config-factory=samza.config.factories.PropertiesConfigFactory --conf...
分类:
其他好文 时间:
2014-05-10 17:52:13
阅读次数:
609