Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部署，本文将就Spark如何实现在Yarn...
分类：
其他好文 时间：
2014-05-16 04:20:26
阅读次数：
455
1. JDK安装a)
安装目录：网上的安装JDK资料中安装目录基本有两种——/opt和/usr/local。这两个目录安装在哪里其实都无所谓，只不过在以前的linux中人们习惯将软件安装在/usr/local中。这里推荐/opt目录。b)
配置文件：将JDK同时配置在/etc/profile和/et...
分类：
其他好文 时间：
2014-05-15 21:46:37
阅读次数：
388
昨天在单位折腾了大半天，tomcat的集群终于弄好了，原来以为Tomcat的集群只需要在tomcat本身配置一下就行了呢，找了很多资料，不是自己想像的这样，下面对tomcat的集群做一下整理吧，备用。PS:集群应用涉及到上传是个小问题。工具
apache httpd 2.2, jk 1.23 ,to...
分类：
其他好文 时间：
2014-05-15 13:56:57
阅读次数：
202
简介
可插入的 shuffle 和 sort 功能，允许在shuffle 和 sort 逻辑中用可选择的实现类替换。这个情况的例子是：用一个不是HTTP的应用协议，如RDMA来 shuffle 从Map节点中到Reducer节点的数据；或者用自定义的允许 Hash聚合和Limit-N查询的算法来代替sort逻辑。
重要: 可插入的 shuffle sort 功能是实验性的、不稳定。这意味着提...
分类：
其他好文 时间：
2014-05-15 13:25:05
阅读次数：
233
memcached+magent实现memcached集群首先说明下memcached存在如下问题
本身没有内置分布式功能，无法实现使用多台Memcache服务器来存储不同的数据，最大程度的使用相同的资源；无法同步数据，容易造成单点故障。（memagent代理实现集群）
在 Memcached中可....
分类：
其他好文 时间：
2014-05-15 10:31:30
阅读次数：
326
memcached集群2013-04-26
13:56:37|分类：memcached|标签：集群memcached|举报|字号订阅集群架构方面的问题 memcached是怎么工作的？
Memcached的神奇来自两阶段哈希（two-stage hash）。Memcached就像一个巨大的、存储.....
分类：
其他好文 时间：
2014-05-15 10:04:33
阅读次数：
490
sqoop1.4.3安装配置：1.解压tar包tar–zxvfsqoop-1.4.3.tar2.更改环境变量vi/etc/profile#添加下面两条记录
export$SQOOP_HOME=/opt/sqoop-1.4.3
PATH=$PATH:$SQOOP_HOME/bin3.复制sqoop-1.4.jarmysql-connector-java-5.1.10.jar到$HADOOP_HOME/lib/复制mysql-connector-java-..
分类：
其他好文 时间：
2014-05-15 08:50:40
阅读次数：
342
版本：CDH5.0.0，HDFS：2.3.0，Mapreduce:2.3.0,Yarn:2.3.0。场景描述：求一组数据中按照不同类别的最大值，比如，如下的数据：data1:A,10
A,11
A,12
A,13
B,21
B,31
B,41
B,51data2:A,20
A,21
A,22
A,23
B,201
B,301
B,401
B,501最后输出为：A,23
B,501假如这样的逻辑的m...
分类：
其他好文 时间：
2014-05-15 08:15:04
阅读次数：
374
一、我县政府网站集群建设成果国家十八大会议明确指出做好信息化工作是目前各个行业的重点，作为我县信息中心的负责人，作为政务服务试点县，经过一年的努力，使得政府网站集群建设取得一定成果。最近打开我区政务网站，市民们可以看到，本来特别落后，相对严肃、死板的政府网..
分类：
Web程序 时间：
2014-05-15 00:27:27
阅读次数：
378
本篇介绍MapReduce的一些高级特性，如计数器、数据集的排序和连接。计数器是一种收集作业统计信息的有效手段，排序是MapReduce的核心技术，MapReduce也能够执行大型数据集间的“”连接（join）操作。...
分类：
其他好文 时间：
2014-05-14 23:53:44
阅读次数：
553
