讨论了glusterfs对文件系统爬虫rsync/ls目录性能的现有优化措施和可能的进一步优化方案。优化思路是减少本地文件系统的元数据操作,减少fuse client的负载,减少req的网络轮询次数,减少一次网络通信时间,缓存预抓取,并发,异步,bulk 传输。...
分类:
其他好文 时间:
2014-05-05 13:24:35
阅读次数:
536
前提条件:(1) zabbix服务器端已经成功安装并且运行。(2) zabbix客户端已经成功建立并且运行。1 下载并且安装msmtp软件Wget http://sourceforge.net/projects/msmtp/files/msmtp/1.4.32/msmtp-1.4.32.tar.bz2/download tar jxvf msmtp-1.4.32.tar.bz2cd msmtp-1...
分类:
其他好文 时间:
2014-05-05 12:52:39
阅读次数:
597
rpm –q gccrpm –q perl确认已安装gcc perl
ncurses-develTsung是用erlang写的需要安装erlang#wget
http://www.erlang.org/download/otp_src_17.0.tar.gz# tar -zxvf otp_src_R...
分类:
其他好文 时间:
2014-05-05 10:59:57
阅读次数:
609
安装:wget
https://github.com/kr/beanstalkd/archive/v1.9.tar.gzmv v1.9 beanstalkd_v1.9mv
beanstalkd_v1.9 beanstalkd_v1.9.tar.gztar -zxvf beanstalkd_v1.9....
分类:
其他好文 时间:
2014-05-05 10:45:41
阅读次数:
322
本文简单的描述下如何连接rhevshell以及简单的使用。关于更详细的用法请参考官方文档。1、如何连接到rhevm?要想连接到rhevm,必须拥有一个有效的证书。此证书一般安装完rhevm后会自动产生。下面是如何获取到证书。[root@rhevm~]#wget-Orhevm.cerhttp://rhevm.xzxj.edu.cn/ca.c..
分类:
其他好文 时间:
2014-05-04 17:01:55
阅读次数:
376
Mahout小案例学习,实现k-means算法。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.1 & Mahout 0.91、下载测试数据[huser@master hadoop]$ wget
http://archive.ics.uci.edu/ml/databas...
分类:
其他好文 时间:
2014-05-04 12:34:58
阅读次数:
340
之前在写MR
job的时候,由于要在云梯,或者一淘的开发集群上运行;所以处理方法是,在本地打成jar包,然后scp到客户端网关机上,然后在提交job运行。这样的问题时,有时候如果遇到一些逻辑上的问题,job跑挂了。必须在本地修改程序,然后重新打包,scp,再运行,这样比较麻烦;询问了一圈,觉得采用M...
分类:
其他好文 时间:
2014-05-04 10:54:29
阅读次数:
427
keepalived实现haproxy高可用模型keepalived节点1----------------------------------------------------------------vrrp_scriptchk_haproxy{script"killall-0haproxy"interval1weight-2}vrrp_instanceVI_1{stateMASTERinterfaceeth1virtual_router_id51priority100advert_int..
分类:
其他好文 时间:
2014-05-03 14:46:15
阅读次数:
639
sersync(873端口)实时同步(单向同步)需要注意:纯粹的使用rsync做单向同步时,rsynx的守护进程是运行在文件推送服务器上,而接收的服务器是运行rsync客户端。使用sersync做文件实时同步刚好相反,用于接收文件的服务器运行rsync守护进程。sersync主要用于服务器同步,web镜像等..
分类:
其他好文 时间:
2014-05-03 01:58:08
阅读次数:
849
一、简介1、rsync比其cp、tar备份的方法,rsync的优点是,安全性高、备份迅速、支持增量备份。只能做对实时性要求不高的数据备份,例如:备份文件服务到远端从服务器、在本地磁盘上做数据镜像等增量备份:就是rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。但是..
分类:
其他好文 时间:
2014-05-03 01:14:53
阅读次数:
474