码迷,mamicode.com
首页 >  
搜索关键字:spark streaming redis    ( 30354个结果
flex 圆形布局
xmlns:s="library://ns.adobe.com/flex/spark"    xmlns:mx="library://ns.adobe.com/flex/mx" creationComplete="init(event)"> import mx.core.IVisualElement; import mx.core.IVisualElementContai...
分类:其他好文   时间:2014-07-22 23:05:55    阅读次数:338
[Redis]windows下redis的安装和启动
需要使用redis来做任务队列,所以花点时间研究下怎么使用...
分类:Windows程序   时间:2014-05-02 02:29:59    阅读次数:459
Redis的字典(dict)rehash过程源码解析
Redis的内存存储结构是个大的字典存储,也就是我们通常说的哈希表。Redis小到可以存储几万记录的CACHE,大到可以存储几千万甚至上亿的记录(看内存而定),这充分说明Redis作为缓冲的强大。Redis的核心数据结构就是字典(dict),dict在数据量不断增大的过程中,会遇到HASH(key)碰撞的问题,如果DICT不够大,碰撞的概率增大,这样单个hash 桶存储的元素会越来愈多,查询效率就...
分类:其他好文   时间:2014-05-01 21:56:59    阅读次数:398
spark源码笔记
1。国际化 如添加朋友Friends是英文,可以找着相关的类,并在国际化配置文件中添加key 在项目中全局搜索“Friends”,将得到的结果集全部展开,找到这两个文件: 在国际化配置文件spark_i18n_zh_CN.properties 中增加 custum.friends=朋友 修...
分类:其他好文   时间:2014-05-01 19:52:51    阅读次数:470
[转]linux 下安装、使用 redis
原文地址:http://blog.csdn.net/daniel_ustc/article/details/18099067#commentsredis介绍Redis是一个开源、支持网络、基于内存、键值对存储数据库,使用ANSI C编写, redis中文官方网站,点这里。redis安装我的linux...
分类:系统相关   时间:2014-05-01 12:34:04    阅读次数:602
spark开发环境
利用build.xml导入eclipse点击Run——Run Configurations点击“Main”Name填写:SparkProject:Spark(选择Spark工程)Main class:org.jivesoftware.launcher.Startup(启动类)勾选Stop in ma...
分类:其他好文   时间:2014-05-01 11:51:57    阅读次数:366
flare-spork: 自己维护的Pig on Spark项目
很早以前有个Pig Spork分支,尝试把Pig迁移到Spark上,但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。 flare-spork是基于Spork对Pig和Spark的衔接,把Spark部分的代码迁移到了Pig 0.12.0上,并且升级了依赖和版本,升级为Scala 2.10.3,Spark 0.9.1,且兼容Hadoop 2.2.0。 目前项目在Github上,地址。打算参考Spork已经做的一些东西,继续Pig on Spark的开发。 Github...
分类:其他好文   时间:2014-04-30 22:15:39    阅读次数:360
[NOSQL] Memcache入门
Memcache是临时性键值存储NoSQL数据库,过去被大量使用在互联网网站中,作为应用和数据库之间的缓存层(现已打都被Redis取代),它是由Danga Interactive公司开发,最初为了加速LiveJournal 访问速度而开发,后来成为广泛应用的开源项目,官网: http://memcached.org/ Memcache的特点 全内存运转 哈希方式存储 简单文本协议进...
分类:数据库   时间:2014-04-29 13:47:20    阅读次数:444
Tornado写简易服务器
我们都知道在Web开发中,都需要服务器,比如Java Web开发的Tomcat,WebLogic,WebSphere,现在来看利 用Tornado Web Server框架如何写一个简易的Python服务器。 一般来说只需要实现get和post方法就可以了。以上次使用redis数据库的例子说明,数据库插入代码如下: import redis import datetime clas...
分类:其他好文   时间:2014-04-29 13:17:20    阅读次数:397
spark编译与onyarn的运行
Spark on yarn执行流程源代码分析 目前的分析主要基于spark0.9.0的cdh5的版本进行分析, 源代码下载地址:https://github.com/cloudera/spark.git 下载方式:gitclone url ./spark 进入spark目录,执行gitcheckout cdh5-0.9.0_5.0.0 源代码编译 使用sbt编译spa...
分类:其他好文   时间:2014-04-29 13:13:22    阅读次数:446
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!