Hadoop集群环境搭建配置 前言 Hadoop的搭建分为三种形式：单机模式、伪分布模式、完全分布模式，只要掌握了完全分布模式，也就是集群模式的搭建，剩下的两种模式自然而然就会用了，一般前两种模式一般用在开发或测试环境下，Hadoop最大的优势就是分布式集群计算，所以在生产环境下都是搭建的最后一种模 ...
分类：
其他好文 时间：
2017-07-08 20:22:37
阅读次数：
414
一、Zookeeper的搭建方式 Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。 ■ 单机模式：Zookeeper只运行在一台服务器上，适合测试环境；■ 伪集群模式：就是在一台物理机上运行多个Zookeeper 实例；■ 集群模式：Zookeeper运行于一个集群上，适合生产环 ...
分类：
其他好文 时间：
2017-07-05 00:32:40
阅读次数：
253
local单机模式：结果xshell可见：./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./lib/spark-examples-1.3.1-hadoop2.4.0.jar 100stan ...
分类：
其他好文 时间：
2017-07-03 23:59:58
阅读次数：
666
Dubbo与Zookeeper、Spring整合使用 Dubbo採用全Spring配置方式，透明化接入应用。相应用没有不论什么API侵入，仅仅需用Spring载入Dubbo的配置就可以，Dubbo基于Spring的Schema扩展进行载入。 一：单机模式安装zookeeper 1,下载zookeep ...
分类：
编程语言 时间：
2017-07-01 16:19:08
阅读次数：
240
Zookeeper安装部署 Zookeeper部署（单机模式） 下载ZooKeeper ü http://zookeeper.apache.org/ 解压 ü tar -zxvf zookeeper-3.4.5.tar.gz 配置。在conf目录下创建一个配置文件zoo.cfg： tickTime= ...
分类：
其他好文 时间：
2017-06-24 22:53:48
阅读次数：
224
今天，参照崔庆才老师的爬虫实战课程，实践了一下分布式爬虫，并没有之前想象的那么神秘，其实非常的简单，相信你看过这篇文章后，不出一小时，便可以动手完成一个分布式爬虫！ 1、分布式爬虫原理 首先我们来看一下scrapy的单机架构： 可以看到，scrapy单机模式，通过一个scrapy引擎通过一个调度器， ...
分类：
其他好文 时间：
2017-06-08 10:38:42
阅读次数：
248
单机模式： 1、首先去官网下载zookeeper的包 zookeeper-3.4.10.tar.gz 2、用FTP文上传到/usr/local下 3、解压文件tar -zxvf zookeeper-3.4.10.tar.gz 4、在conf文件夹下新建zoo.cfg文件，或者使用里面自带的zoo_s ...
分类：
其他好文 时间：
2017-05-31 10:18:51
阅读次数：
235
1.环境 JDK7+ zookeeper 3.3.6 tomcat 7+ 2.搭建步骤 （1）安装zookeeper 单机模式：参考这里。 伪集群模式：参考这里。 ①单机或伪集群模式均可。 ②笔者使用了伪集群模式。 （2）下载dubbox源码（地址：https://github.com/dangda ...
分类：
其他好文 时间：
2017-05-20 22:37:41
阅读次数：
90
前言： 随着业务的扩大，用户的增多，访问量的增加，单机模式已经不能支撑，从而出现了从单机模式->垂直应用模式->集群模式，集群模式诞生了，伴随着一堆问题也油然而生，Master怎么选举，机器故障及时移除集群，添加机器了如何及时的感应到，Zookeeper不仅能维护当前的集群服务状态，还能及时的选出m ...
分类：
其他好文 时间：
2017-05-16 15:01:02
阅读次数：
212
Spark一共有5种运行模式：Local，Standalone，Yarn-Cluster，Yarn-Client和Mesos。 1. Local Local模式即单机模式，如果在命令语句中不加任何配置，则默认是Local模式，在本地运行。这也是部署、设置最简单的一种模式 2. Standalone ...
分类：
其他好文 时间：
2017-05-15 15:40:06
阅读次数：
168
