Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部署，本文将就Spark如何实现在Yarn...
分类：
其他好文 时间：
2014-05-16 04:20:26
阅读次数：
455
前言：这里介绍一个python下，比celery更加简单的异步工具，真的是很简单，当然他的功能没有celery多，复杂程度也没有celery大，文档貌似也没有celery多，但是为啥会介绍rq这个东西因为他够简单。当然他虽然简单，但是也是需要中间人的，也就是Broker，这里只能是redis了。他没..
分类：
编程语言 时间：
2014-05-15 09:21:14
阅读次数：
568
Redis自动安装部署
本文总共分为4个部分：
redis自动安装脚本目录结构说明；
redis自动安装脚本内容；
redis的操作系统服务脚本说明；
本文引用的资料链接地址。...
分类：
其他好文 时间：
2014-05-15 08:22:14
阅读次数：
235
接触了Spark也快有半年了，版本从0.8.0到现在的1.0.0SNAPSHOT，从头到尾被spark这个优秀的框架深深吸引，也为scala的优雅所折服。4.19日“2014 中国Spark技术峰会”召开，可以看出随着Spark技术的完善，越来越多的企业已经开始使用或开始关注Spark的发展了。回顾学习过程，觉得很有必要整理一份学习路线，对所学的内容加以沉淀，同时也为同行作为参考。因为Spark1...
分类：
其他好文 时间：
2014-05-15 06:07:33
阅读次数：
357
本篇的配置环境是基于HDFS HA系列实验之二：HA+JournalNode+zookeeper 上进行的。1：原理图 A：实验环境之组成DNS：productserverHA1（nameservices为cluster1）：product201、product202HA2（nameservices为cluster2）：product211、product212DN：product203、p...
分类：
其他好文 时间：
2014-05-15 05:59:29
阅读次数：
323
最近做日志分析，发现logstash较符合自己的需求，Logstash：做系统log收集，转载的工具。同时集成各类日志插件,对日志查询和分析的效率有很大的帮助.一般使用shipper作为log收集、indexer作为log转载.Logstashshipper收集log并将log转发给redis存储Logstashindexer从redis中读..
分类：
其他好文 时间：
2014-05-15 00:42:49
阅读次数：
655
引言： 本文将讲述如何在Redis进行主从设置。...
分类：
其他好文 时间：
2014-05-14 23:57:32
阅读次数：
514
memcached 和 redis
的set命令都有expire参数，可以设置key的过期时间。但是redis是一个可以对数据持久化的key-value
database，它的key过期策略还是和memcached有所不同的。梳理，整理如下：redis通过expire命令来设置key的过期时间。语法...
分类：
其他好文 时间：
2014-05-14 07:09:41
阅读次数：
242
Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。
Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本，目前建议使用3.6.4版本，这个版本是当前最新的版本，而且网上可以找到下载的源代码。
即时通信客户端可使用spark2.5.8,这个版本是目前最新的release版本，经过测试发现上一版本在视频支持,msn网关支持...
分类：
编程语言 时间：
2014-05-13 15:55:13
阅读次数：
252
Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。1.环境#lsb_releaseLSBVersion::core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noar..
分类：
系统相关 时间：
2014-05-13 12:01:32
阅读次数：
487
