从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
无意翻到一本新书《CouchDB权威指南》发现这就是传说中的NoSQL，看排第一的是mangodb，redis有些人说是，有些人说不是。CouchDB的开发很天才，直接可以通过javascript来操作数据库。这本书讲得很详细，附上这本书的英文电子版本：在线阅读这个数据库算是一个现代化的软件，里面各...
分类：
数据库 时间：
2014-05-08 21:12:43
阅读次数：
463
今天听一个同事说新浪使用的是Redis，于是自己将研究的过程整理出来以备后用。我们都知道微博这玩意儿现在很火，新浪作为国内最早使用redis，并且是国内最大的redis使用者，当然备受人们关注。新浪微博中一项很重要数据，计数类业务就用到了Redis。OK，废话不多说，直接切入主题。R...
分类：
其他好文 时间：
2014-05-08 19:50:42
阅读次数：
354
1、通配删除相同前缀的缓存DEL命令的参数不支持通配符，但我们可以结合Linux的管道和xargs命令自己实现删除所有符合规则的键。比如要删除所有以“structure_”开头的键，就可以执行下面的语句redis-cli
KEYS "structure_*" | xargs redis-cli DE...
分类：
其他好文 时间：
2014-05-08 14:37:53
阅读次数：
313
概述
Redis不仅可以作为缓存来使用，也可以作为内存数据库。Redis作为内存数据库使用时，必须要解决一个问题：数据的持久性。有些将Redis作为缓存使用的场景也需要将缓存的数据持久化到存储介质上，这样在Redis重启后仍然能对热点数据提供缓存服务，不会因为缓存数据的缺失而对整个系统造成冲击。
本文就Redis内置的持久化机制进行说明。...
分类：
其他好文 时间：
2014-05-08 00:03:42
阅读次数：
356
1.下载安装大家根据各自系统配置，下载相对应的redis版本。我下载是redis
2.6将redis.conf 复制到 bin/release/redisbin 里面redis-server.exe
服务程序redis-check-dump.exe:本地数据库检查redis-check-aof.ex...
分类：
数据库 时间：
2014-05-07 21:04:48
阅读次数：
459
1，遇到的问题就是 redis 2.8 版本依赖 Google 的 TCMalloc
TCMalloc（Thread-Caching Malloc）是google开发的开源工具──“google-perftools”中的成员。与标准的glibc库的malloc相比，
TCMalloc在内存的分配上效率和速度要高得多，可以在很大程度上提高MySQL服务器在高并发情况下的性能，降低系统负载...
分类：
其他好文 时间：
2014-05-07 05:41:35
阅读次数：
344
本文是Pig系统分析系列中的最后一篇了，主要讨论如何扩展Pig功能，不仅介绍Pig本身提供的UDFs扩展机制，还从架构上探讨Pig扩展可能性。
补充说明：前两天同事发现twitter推动的Pig On Spark项目：Spork，准备研究下。
UDFs
通过UDFs（用户自定义函数），可以自定义数据处理方法，扩展Pig功能。实际上，UDFS除了使用之前需要register/define外，和...
分类：
其他好文 时间：
2014-05-07 05:10:44
阅读次数：
567
Redis是一个包含了很多Key-Value对的大字典，这个字典支持的Value非常丰富，可以为字符串、哈希表、列表、集合和有序集，基于这些类型丰富的value，扩展出了功能强大的操作，例如hmset、lpush、sadd等...
分类：
其他好文 时间：
2014-05-07 04:01:53
阅读次数：
302
/usr/local/bin/redis-server /etc/redis.conf
分类：
其他好文 时间：
2014-05-06 23:46:07
阅读次数：
306
