IT运维服务分类目录IT基础设施管理服务集网络管理服务服务器管理服务存储管理服务备份管理服务数据库管理服务中间件管理服务机房动力环境管理服务IT应用管理服务集网站管理服务门户网站电子商务企业应用管理服务CRMERPOAIT终端用户工作环境服务集终端硬件支持服务软件支持服务..
分类：
其他好文 时间：
2014-09-12 15:21:04
阅读次数：
657
MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践
Mysql作为目前世界上使用最广泛的免费数据库，相信所有从事系统运维的工程师都一定接触过。但在实际的生产环境中，由单台Mysql作为独立的数据库是完全不能满足实际需求的，无论是在安全性，高可用性以及高并发等各个方面。
因此，一般来说都是通过 主从复制（Master-Slave）的方式来同步数据，再通过读写分...
分类：
数据库 时间：
2014-09-12 15:13:13
阅读次数：
406
在程序员岗位上工作了三十多年，我学到了也明白了一些事情，希望在这里跟大家一起分享：
看不到实物，客户不会知道自己想要什么
一个功能性原型系统的展示，能够省下无谓低效的赘述。
只要给予足够的时间，任何安全措施都不安全
安全是目前系统运维的重大挑战，我们每时每刻都想方设法来保护系统和数据，但是黑客只要成功一次，我们所有努力就极有可能都付诸东流。
系统被攻破后造成的影响，依...
分类：
其他好文 时间：
2014-09-12 11:58:33
阅读次数：
196
./bin/spark-shell --master spark://MASTER:PORT启动集群模式：MASTER=spark://`hostname`:7077 bin/spark-shellbin/spark-shell --master spark://es122:7077单机模式：bin...
分类：
其他好文 时间：
2014-09-12 11:52:33
阅读次数：
183
单机运行Standalone使用Spark本身提供的资源管理器，可以直接运行Yarn提供运行spark应用的jar包Mesos另一种资源管理系统Amazon EC2 / ElasticMapReduce安装工具：Chef
分类：
其他好文 时间：
2014-09-12 11:41:33
阅读次数：
156
Spark 0.6.0开始支持此功能准备：运行Spark-on-YARN需要Spark的二进制发布包。参考编译配置：环境变量：SPARK_YARN_USER_ENV 用户可以在这个参数中设置Spark on YARN的环境变量，可以省略。 例如：SPARK_YARN_USER_ENV="JAVA_H...
分类：
其他好文 时间：
2014-09-12 11:38:33
阅读次数：
222
1、垃圾回收在conf/spark-env.sh中添加SPARK_JAVA_OPTS=-verberos:gc -XX;+PrintGCDetails -XX:+PrintGCTimeStamps如果发现集群耗费过多时间在垃圾回收上，可以通过spark.storage.memoryFaction调低...
分类：
其他好文 时间：
2014-09-12 11:35:43
阅读次数：
234
安装配置hosts配置： 用户： useradd spark1、SSH无密码登录2、JDK3、安装Scala 2.10.44、安装配置Spark4.1、解压与权限 chown -R spark:spark /opt/spark4.2、配置workervi conf/slavesES122ES123E...
分类：
其他好文 时间：
2014-09-12 11:35:33
阅读次数：
197
1、SBT编译vi project/SparkBuild.scala修改仓库："Maven Repository" at "http://172.16.219.120:8080/nexus/content/groups/public/"SPARK_HADOOP_VERSION=2.4.0.2.1.....
分类：
其他好文 时间：
2014-09-12 11:29:43
阅读次数：
234
bin/spark-submit --helpUsage: spark-submit [options] [app options]Options:--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. -....
分类：
其他好文 时间：
2014-09-12 11:29:13
阅读次数：
175
