MapReduce2.0(Yarn)
MapReduce2.0是在Hadoop0.23开始采用的,叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能,一个是资源管理,一个是任务监控,这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器(ResourceManager)和每个应用程序的应用...
分类:
其他好文 时间:
2014-05-07 04:05:06
阅读次数:
272
封装了一个基于C++11的线程池对象。
异步执行的任务,从线程池中分配一个空闲的线程来执行该任务.
如果没有空闲的线程可以执行,则进入队列排队
task_pool_init(10);
for( int i = 0 ; i < 200 ; i ++ )
{
run_job([i]{
std::this_thread::sleep_for(std::chrono::seconds(1));
});
}
...........................
...
分类:
编程语言 时间:
2014-05-06 23:16:37
阅读次数:
378
1. 熟悉各种Linux操作命令;并编写程序,使用GNU gcc/g++进行预处理、编译和链接,观察每一阶段完成的任务。 2. 编写代码,实现二维向量和三维向量的运算: 1) 遵循软件开发标准,程序分文件书写; 2) 可以进行向量的加减和比...
分类:
编程语言 时间:
2014-05-06 22:28:37
阅读次数:
455
平衡算法设计的好坏直接决定了集群在负载均衡上的表现,设计不好的算法,会导致集群的负载失衡。一般的平衡算法主要任务是决定如何选择下一个集群节点,然后将新的服务请求转发给它。有些简单平衡方法可以独立使用,有些必须和其它简单或高级方法组合使用。而一个好的负载均衡算法也并不是万能的,它一般只在某些特殊的应用环境下才能发挥最大效用。因此在考察负载均衡算法的同时,也要注意算法本身的适用面,并在采取集群部署的时...
分类:
其他好文 时间:
2014-05-06 22:27:27
阅读次数:
295
CPU通常由两部分组成:控制器和算数/逻辑运算器控制器用于控制和协调各个组件的工作。算术逻辑运算器用于数值运算和逻辑运算。1MHz(兆赫)=100万Hz内存也称随机存储器(RAM)。操作系统的主要任务有:控制和监视系统的活动分配系统资源安排操作的顺序javaapplication:应用程序是独..
分类:
编程语言 时间:
2014-05-06 20:41:06
阅读次数:
363
1. 熟悉各种Linux操作命令;并编写程序,使用GNU gcc/g++进行预处理、编译和链接,观察每一阶段完成的任务。
2. 编写代码,实现二维向量和三维向量的运算:
1) 遵循软件开发标准,程序分文件书写;
2) 可以进行向量的加减和比较运算(重载+,-,=和==运算符)。
3) 分别用静态链接和共享链接的方式测试向量的使用。
3. 创建包含二维向量和三维向量的向量库:libVector.a和 libVector.so,并分别写出对应的MakeFile文件
4. 编写程序测试向量库。...
分类:
编程语言 时间:
2014-05-06 19:38:36
阅读次数:
397
马哥课程的学习任务:RHCE+RHCA+shell编程+MySQL+Web集群+NoSQL+Hadoop+Hbase+Openstack。1基础(RHCE):RH033RH133RH2532RHCA:RH401RH423(LDAP)RH442(系统调优)RH436RHS3333MySQL4NoSQL5系统工程师:是指具备较高专业技术水平,能够分析商业需求,并使用各种系统平台和服务器..
分类:
系统相关 时间:
2014-05-06 17:15:49
阅读次数:
479
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询,主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作,两边关联只取交集。
outer join分为left outer join、rig...
分类:
其他好文 时间:
2014-05-06 15:01:38
阅读次数:
269
尽管windows系统已经提供了很多快捷键,但对于追求效率的完美主义者明显不够。很多通过鼠标的繁琐操作都可能通过一次按键来替换,例如
最大化(还原)窗口
关闭窗口(坑爹ALT+F4用着实在很不爽,每次按键都要去找一下F4在那里,还要手指足够长)
打开系统工具,记事本,计算器,画图,任务管理器等等
打开控制面板或...
分类:
其他好文 时间:
2014-05-06 14:56:13
阅读次数:
637
探索C++的底层机制在看这篇文章之前,请你先要明白一点:那就是c++为我们所提供的各种存取控制仅仅是在编译阶段给我们的限制,也就是说是编译器确保了你在完成任务之前的正确行为,如果你的行为不正确,那么你休想构造出任何可执行程序来。但如果真正到了产生可执行代码阶段,无论是c,c++,还是pascal,大...
分类:
编程语言 时间:
2014-05-06 12:07:42
阅读次数:
361