从Physical plan到Map-Reduce Plan
注：因为我们重点关注的是Pig On Spark针对RDD的执行计划，所以Pig物理执行计划之后的后端参考意义不大，这些部分主要分析流程，忽略实现细节。
入口类MRCompiler，MRCompilier按照拓扑顺序遍历物理执行计划中的节点，将其转换为MROperator，每个MROperator都代表一个map-reduce
j...
分类：
其他好文 时间：
2014-05-10 08:46:07
阅读次数：
366
Akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala
的 Actor 模型应用。Actor模型并非什么新鲜事物，它由Carl
Hewitt于上世纪70年代早期提出，目的是为了解决分布式编程中一系列的编程问题。其特点如下：系统中的所有事物都可以扮演一个A...
分类：
其他好文 时间：
2014-05-08 12:32:32
阅读次数：
392
参考自《大型网站技术架构》第1~3章
1、大型网站架构演化发展历程
（1）初始阶段的网站架构：一台服务器分别作为应用、数据、文件服务器
（2）应用服务和数据服务分离：三台服务器分别承担上述三项工作，其中应用服务器要求CPU强大、数据库服务器需求更快的硬盘和内存，文件服务器需要较大的硬盘。
（3）使用缓存改善网站性能：分为本地缓存以及缓存在专门的分布式服务器上的远程缓存。
（4）使...
分类：
Web程序 时间：
2014-05-08 04:42:48
阅读次数：
430
Memcache的特点: 分布式内存对象缓存系统，占用其他机子的内存。很多互联网，负载均衡三台(以三台为例)web服务器可以共享一台Memcache的资源。传递的信息以键值对的形式存储。传递的数据要实现序列化。
Oscache的特点: 页面级缓存,占用本机的内存资源。可以选择缓存到硬盘，如存取到硬盘重启服务也可重新获得上次持久化的资源，而如果缓存到内存就不行。一般没必要缓存到硬盘，因为I/O操作...
分类：
其他好文 时间：
2014-05-07 23:34:49
阅读次数：
284
原文地址：http://onlyonewt.blog.sohu.com/160168896.html一直在学习关注大访问量网站的缓存是如何实现，之前看过Memcached的资料，忙于没有时间来真正测试一下，今天测试下分布式缓存Memcached首先要在缓存服务器上安装安装：memcached(1.2...
分类：
Web程序 时间：
2014-05-07 21:25:46
阅读次数：
593
git是什么？
简单介绍一下，Git是一个开源的分布式版本控制系统，用以有效、高速的处理从很小到非常大的项目版本管理。Git是目前世界上最先进的分布式版本控制系统，没有传说中的之一。
Git诞生？
Git 是 Linus为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。在过去一段时间里，Linux的开发并没有使用到版本控制，天呐！Linux这么牛逼的系统曾经在开发过程中居...
分类：
其他好文 时间：
2014-05-07 16:20:53
阅读次数：
329
安装zabbix时报错[root@zabbix~]#rpm-ivhzabbix-server-mysql-2.2.3-1.el6.x86_64.rpmzabbix-web-mysql-2.2.3-1.el6.noarch.rpmwarning:zabbix-server-mysql-2.2.3-1.el6.x86_64.rpm:HeaderV4DSA/SHA1Signature,keyID79ea5ed4:NOKEYerror:Faileddependencies:libodbc.so.2()(64..
分类：
数据库 时间：
2014-05-07 11:33:40
阅读次数：
2102
Explain
Explain是Pig提供的调试工具，使用explain可以输出Pig Lation的执行计划。值得一提的是，explain支持-dot选项，将执行计划以DOT格式输出， (DOT是一种图形描述语言，请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80)
代码实现详见org.apache.pig.impl.plan.DotPla...
分类：
其他好文 时间：
2014-05-07 06:03:35
阅读次数：
350
我的理解是服务层是处于我的应用程序业务层和表现层之间的应用程序边界,边界可能是很薄的一层类设计或者是分布式服务网络跃点。它是一个与技术无关的名词。由表现层直接调用，契约，执行命令（修改状态（CUD））或者是查询返回dto（数据迁移对象）（cms，命令-查询分离）。他对业务逻辑层接口很清楚，组织业务逻辑 微服务形成宏服务，适配表现层。...
分类：
其他好文 时间：
2014-05-07 03:10:34
阅读次数：
337
参考书籍： Hadoop in action, 吴超沉思录1.Hbase简介
1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5.
sqoop提供Hbase到关系型数据库中数据导入功能 ...
分类：
其他好文 时间：
2014-05-07 00:35:59
阅读次数：
424
