标签:
Redis Standalone,Redis Cluster的安装在前面介绍过,地址:http://www.cnblogs.com/liuchangchun/p/5063477.html,这里不做介绍。
针对各种编程语言,差不多都有Redis的驱动程序。针对Scala程序,在github上面有几个可用驱动:
scala-redis:https://github.com/liuchchc/scala-redis
rediscala:https://github.com/etaty/rediscala
jedis:https://github.com/liuchchc/jedis
我用的是jedis,感觉还是蛮好用的,支持Cluster
Standalone模式中,Cluster提供了哨兵用于监视Redis Server的运行状态,并选举出Master,这个模式中需要配置sentinel.conf,在这种模式下Jedis中如下使用
val sentinelClusterName = "mymaster" val sentinelServerHostHS = new HashSet[String] sentinelServerHostHS.add("192.168.1.103:26379") sentinelServerHostHS.add("192.168.1.104:26379") sentinelServerHostHS.add("192.168.1.105:26379") sentinelServerHostHS.add("192.168.1.106:26379") sentinelServerHostHS.add("192.168.1.107:26379") sentinelServerHostHS.add("192.168.1.108:26379") // 如果赋值为-1,则表示不限制;如果pool已经分配了maxActive个jedis实例,则此时pool的状态为exhausted(耗尽),默认值是8。 val MAX_ACTIVE = -1; // 控制一个pool最多有多少个状态为idle(空闲的)的jedis实例,默认值也是8。 val MAX_IDLE = -1; // 等待可用连接的最大时间,单位毫秒,默认值为-1,表示永不超时。如果超过等待时间,则直接抛出JedisConnectionException; val MAX_WAIT = -1; // 超时时间,0永不超时 val TIMEOUT = 0; var poolConfig = new GenericObjectPoolConfig poolConfig.setMaxTotal(MAX_ACTIVE) poolConfig.setMaxIdle(MAX_IDLE) poolConfig.setMaxWaitMillis(MAX_WAIT) poolConfig.setTestOnBorrow(true) poolConfig.setTestOnReturn(true) def getPoolConfig: GenericObjectPoolConfig = poolConfig
lazy val jedisSentinelPool = new JedisSentinelPool("mymaster", sentinelServerHostHS, poolConfig, TIMEOUT)
lazy val sentinelConnection = jedisShardedPool.getResource
// Redis 操作……
// Redis 操作完毕
sentinelConnection.close
jedisSentinelPool.destroy
val shardsServerHostList = new ArrayList[JedisShardInfo] val si1 = new JedisShardInfo("192.168.1.103", 6379) val si2 = new JedisShardInfo("192.168.1.104", 6379) val si3 = new JedisShardInfo("192.168.1.105", 6379) val si4 = new JedisShardInfo("192.168.1.106", 6379) val si5 = new JedisShardInfo("192.168.1.107", 6379) val si6 = new JedisShardInfo("192.168.1.108", 6379) shardsServerHostList.add(si1) shardsServerHostList.add(si2) shardsServerHostList.add(si3) shardsServerHostList.add(si4) shardsServerHostList.add(si5) shardsServerHostList.add(si6) lazy val jedisShardedPool = new ShardedJedisPool(poolConfig, shardsServerHostList) lazy val shardedConnection = jedisShardedPool.getResource
// Redis 操作……
// Redis 操作完毕
shardedConnection.close
jedisShardedPool.destroy
在Redis Cluster模式中,我这里面是3 master,6 slave,HostAndPort只需要传1个,Redis会自己检测整个集群中有哪些Master和Slave。至于在添加数据时候数据存储到哪个集群中,用户层面不需要关心,读取数据也一样。
val jedisClusterNodes = new java.util.HashSet[HostAndPort]() jedisClusterNodes.add(new HostAndPort("192.168.1.100", 6379)) jedisClusterNodes.add(new HostAndPort("192.168.1.101", 6379)) jedisClusterNodes.add(new HostAndPort("192.168.1.103", 6379)) jedisClusterNodes.add(new HostAndPort("192.168.1.104", 6379)) jedisClusterNodes.add(new HostAndPort("192.168.1.105", 6379)) jedisClusterNodes.add(new HostAndPort("192.168.1.106", 6379)) jedisClusterNodes.add(new HostAndPort("192.168.1.107", 6379)) jedisClusterNodes.add(new HostAndPort("192.168.1.108", 6379)) jedisClusterNodes.add(new HostAndPort("192.168.1.109", 6379)) // Redis 操作
lazy val jedisCluster = new JedisCluster(jedisClusterNodes)
这里是Spark处理生物数据,因为中间结果比较多,所以加了一台Redis Server存储中间结果,总共1亿多条,3.5G左右,大概在分分钟就能存进去,所以Redis的性能还是杠杠滴,不过要批量写,读,否则也会慢的很。
Ubuntu 15.10 下Scala 操作Redis Cluster
标签:
原文地址:http://www.cnblogs.com/liuchangchun/p/5094693.html