实验性操作是在虚拟机里进行的,除了搭建hadoop本身的操作之外,遇到的其它问题总结如下: 1. 虚拟机挂载windows磁盘: 添加硬件,要保证该硬件此时没有被读写访问等,因为挂载后,该磁盘在宿主机上就不能用了。启动虚拟机linux,执行 fdisk –l 查看windows磁盘的分区,如/dev... ...
分类:
其他好文 时间:
2016-11-27 07:31:47
阅读次数:
188
Solrcloud集群搭建 使用solrcloud有几点需要注意的: 索引数据量比较大;配置是统一的(zookeeper会保持配置信息的一致性) 如果索引数据量不大,并且需求变动比较多,field要经常变动的可以考虑用multicore的模式。 规划 虚拟机环境centos6.2 64位系统 三台1 ...
分类:
其他好文 时间:
2016-11-26 11:54:06
阅读次数:
410
环境rhel6.5x64192.168.20.11mysql11192.168.29.12mysql12拓扑环境关闭iptables关闭selinuxyum-yinstallncurses-develgccgcc-c++makeautoconfautomakezlibzlib-developensslopenssl-develpcre-devel开始安装配置mysql11[root@mysql11~]#tar-xfMySQL-Cluster-gpl-7.3.7-1.el6.x8..
分类:
数据库 时间:
2016-11-26 00:04:13
阅读次数:
414
文章钢要: 1、进行双服务器搭建 2、进行多服务器搭建 一、Mosquitto的分布式集群部署 如果需要做并发量很大的时候就需要考虑做集群处理,但是我在查找资料的时候发现并不多,所以整理了一下,搭建简单的Mosquitto集群模式。 首先集群需要2台以上的Mosquitto服务器。安装方式同上。 先 ...
分类:
移动开发 时间:
2016-11-21 23:09:32
阅读次数:
831
一、事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.129 主机名:kafka01 192.168.145.130 kafka02 192.168.145. ...
分类:
其他好文 时间:
2016-11-21 19:57:57
阅读次数:
160
zookeeper的配置: zookeeper有三种配置方式:单机式/伪分布式/集群式 其中伪分布式是在一台电脑上通过不同的端口来模拟分布式情形,需要N份配置文件和启动程序,而集群式是多个zookeeper程序。 首先通过sftp等方式获取tar包,解压到指定的目录:/usr/local/java ...
分类:
Web程序 时间:
2016-11-17 18:49:56
阅读次数:
480
1初始化环境关闭selinux关闭selinux关闭selinux1.1环境:centos7.2节点IPnode-1192.168.93.201node-2192.168.93.202node-3192.168.93.2031.2设置hostnamehostnamectl--staticset-hostnamehostnameIPhostname192.168.93.201kube.master192.168.93.202kube.salve1192.168.93.203k..
分类:
Web程序 时间:
2016-11-15 11:29:02
阅读次数:
191
本位以最新版本kafka_2.11-0.10.1.0版本讲述分布式kafka集群环境的搭建过程。服务器列表: 1.下载kafka安装包 登录kafka官网http://kafka.apache.org/, 单击左侧“Download”按钮 选择对应的版本,版本2.11代表scala版本(kafka是 ...
分类:
其他好文 时间:
2016-11-13 19:46:00
阅读次数:
483
Kakfa分布式集群搭建 本位以最新版本kafka_2.11-0.10.1.0版本讲述分布式kafka集群环境的搭建过程。服务器列表: 1 2 3 172.31.10.1 172.31.10.2 172.31.10.3 1 2 3 172.31.10.1 172.31.10.2 172.31.10. ...
分类:
其他好文 时间:
2016-11-13 19:10:32
阅读次数:
312
ELK是日志收益与分析的利器。 1、elasticsearch集群搭建 略 2、logstash日志收集 我这里的实现分如下2步,中间用redis队列做缓冲,可以有效的避免es压力过大: 1、n个agent对n个服务的log做日志收集(1对1的方式),从日志文件解析数据,存入broker,这里用的是 ...
分类:
其他好文 时间:
2016-11-11 14:08:34
阅读次数:
213