码迷,mamicode.com
首页 >  
搜索关键字:spark streaming redis    ( 30354个结果
Redis 做消息队列
一般来说,消息队列有两种场景,一种是发布者订阅者模式,一种是生产者消费者模式。利用redis这两种场景的消息队列都能够实现。定义:生产者消费者模式:生产者生产消息放到队列里,多个消费者同时监听队列,谁先抢到消息谁就会从队列中取走消息;即对于每个消息只能被最多一个消费者拥有。发布者订阅者模式:发布者生...
分类:其他好文   时间:2014-05-19 06:59:46    阅读次数:446
Apache Spark源码走读之9 -- Spark源码编译
本来源码编译没有什么可说的,对于java项目来说,只要会点maven或ant的简单命令,依葫芦画瓢,一下子就ok了。但到了Spark上面,事情似乎不这么简单,按照spark officical document上的来做,总会出现这样或那样的编译错误,让人懊恼不已。
分类:其他好文   时间:2014-05-18 20:25:57    阅读次数:391
Redis c/c++, java 客户端连接
Redis 介绍 redis 这个想必大家都了解,关于redis的安装参考这里,redis使用文档参见这里。 Redis C客户端的使用方法  Redis的c客户端 Hiredis使用比较广泛,下面主要介绍下它。 1,Hiredis的安装,配置 Hiredis客户端 在redis解压后的deps/hiredis下有相应的文件。如果你的安装包没有相应的文件可以到这里下载。 cd...
分类:编程语言   时间:2014-05-18 18:38:34    阅读次数:418
hadoop学习;Streaming,aggregate;combiner
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流,数据取自UNIX的标准输入STDIN,并输出到STDOUT 通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率,没有设定特殊的reducer,一般默认使用IdentityReducer(把输入直接转向输出) 通过HDFS的命令getMerge(输出合并)或其他文件操作,可以获得...
分类:其他好文   时间:2014-05-18 15:12:21    阅读次数:380
redis集群状态信息维护脚本
通常在redis机器数量多的时候,需要对redis的机器进行状态监控,可以采用Linux 的nc 来对多个shard进行状态查询和监测...
分类:其他好文   时间:2014-05-18 05:51:38    阅读次数:247
.NET中使用Redis
Redis是一个用的比较广泛的Key/Value的内存数据库,新浪微博、Github、StackOverflow等大型应用中都用其作为缓存,Redis的官网为http://redis.io/。最近项目中需要使用Redis,这里简单记录一下Redis的安装,以及如何在.NET中使用Redis。Redi...
分类:Web程序   时间:2014-05-17 23:28:11    阅读次数:473
Ubuntu 10.04下架设流媒体服务器
Ubuntu 10.04下架设流媒体服务器目前主流的流媒体服务器有微软的windows media server、RealNetworks的Helix server和苹果公司的Darwin Streaming Server. 微软的windows media server只能在windows 200...
分类:其他好文   时间:2014-05-16 00:08:39    阅读次数:545
ubuntu12.04上搭建darwin streaming server6.03
1:下载darwin源代码DarwinStreamingSrvr6.0.3-Source.tar,补丁patch dss-6.0.3.patch$wgethttp://dss.macosforge.org/downloads/DarwinStreamingSrvr6.0.3-Source.tar$w...
分类:Windows程序   时间:2014-05-15 22:34:00    阅读次数:580
Redis rdb文件CRC64校验算法 Java实现
查看RDB文件结构,发现最后的8字节是CRC64校验算得,从文件头开始直到8字节校验码前的FF结束码(含),经过CRC64校验计算发现,貌似最后的8字节是小端模式实现的。参考redis的crc64实现的代码,点击查看Java代码如下: 1 package com.jadic.utils; 2 3 ....
分类:数据库   时间:2014-05-15 22:28:53    阅读次数:1123
A coroutine example: Streaming XML parsing using xml_parser
send($data)`. The sent data will then* be the result of the `yield` expression. Thus it can be received using a code like* `$data = yield;`.*/ /* What...
分类:其他好文   时间:2014-05-15 17:46:37    阅读次数:311
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!