在过去几年，Apache Spark的采用以惊人的速度增加着，通常被作为MapReduce后继，可以支撑数千节点规模的集群部署。在内存中数 据处理上，Apache Spark比MapReduce更加高效已经得到广泛认识；但是当数据量远超内存容量时，我们也听到了一些机构在Spark使用 上的困扰。因此，我们与Spark社区一起，投入了大量的精力做Spark稳定性、扩展性、性能等方面的提升。既然Spa...
分类：
编程语言 时间：
2014-10-13 07:52:29
阅读次数：
214
地点：北京市朝阳区酒仙桥5号鸿雁宾馆10层会议室 时间：8月2日10：00-15：00报名方式：请+QQ群:365534424（现在有很多不法分子以reboot分享名义收取报名者费用，大家当心，我们只是公益分享）分享内容: 1、流量TB级别自建CDN架构（雪糕讲师） 2、数万台超大规模集群部署、监控...
分类：
其他好文 时间：
2014-10-04 02:17:35
阅读次数：
313
前言本文基于实际Linux管理工作，实例讲解工作中使用ssh证书登录的实际流程，讲解ssh证书登录的配置原理，基于配置原理，解决实际工作中，windows下使用SecureCRT证书登录的各种问题，以及实现hadoop集群部署要求的无密码跳转问题。ssh有密码登录和证书登录，初学者都喜欢用密码登录，...
分类：
系统相关 时间：
2014-09-30 11:43:22
阅读次数：
291
1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用....
分类：
其他好文 时间：
2014-09-28 14:04:02
阅读次数：
309
在网上看了好多有关集群部署的文章，感觉都不是太连贯，非常多仅仅是给你说怎么安装而已，可是过程中遇到的问题真不少，可是也攻克了非常多问题，希望我的文章可以帮到那些想学习的人吧,jenkins主要是攻克了一个集群项目和节点管理的工具，可以方便的把项目分发到个个容器里面去，省去了集群的时候须要一个个往to...
分类：
其他好文 时间：
2014-09-27 17:31:00
阅读次数：
213
网站集群部署解决计划一、计划目标实现互动留言系统、后台发布系统的高可用性，有效解决高并发量对单台应用服务器的打击，确保应用服务器单点故障不影响系统正常运行。二、部署架构采取Tomcat集群的部署方法，Apache通过proxy_module代理方法对用户的请求进行负载均衡，转发至tomcat集群中的...
分类：
其他好文 时间：
2014-09-25 17:28:49
阅读次数：
178
今天碰到的一个 spark问题，困扰好久才解决首先我的spark集群部署使用的部署包是官方提供的spark-1.0.2-bin-hadoop2.tgz部署在hadoop集群上。在运行java jar包的时候使用命令java -jar chinahadoop-1.0-SNAPSHOT.jar chin...
分类：
编程语言 时间：
2014-08-24 08:04:42
阅读次数：
321
环境搭建一.zookeeper参考：http://blog.chinaunix.net/uid-25135004-id-4214399.html现有4台机器 10.14.2.201 10.14.2.202 10.14.2.203 10.14.2.204安装zookeeper集群 在所有机器上进行1、...
分类：
其他好文 时间：
2014-08-18 20:22:42
阅读次数：
436
概述可使用单个数据服务器作为分片，也可使用复制集作为分片。复制集为具有自动故障恢复功能的主从集群，并且其主从角色可自动变更。每个复制集包括3种角色：主服务器、从服务器、仲裁服务器部署图部署过程Shard1（为1个复制集）Shard2（为1个复制集）ConfigServerConfigAConfigB...
分类：
其他好文 时间：
2014-08-18 12:19:34
阅读次数：
162
本文档主要讲解，如何在CentOS6.5下搭建Nginx+Tomcat+Memcached负载均衡集群服务器，Nginx负责负载均衡，Tomcat负责实际服务，Memcached负责同步Tomcat的Session，达到Session共享的目的。...
分类：
其他好文 时间：
2014-08-12 17:23:37
阅读次数：
433
