欢迎转载，转载请注明出处，徽沪一郎。楔子Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。存储子系统概览上图是Spark存储子系统中几个主要模块...
分类：
其他好文 时间：
2014-07-07 14:30:41
阅读次数：
304
Given a set of distinct integers, S, return all possible subsets.
分类：
其他好文 时间：
2014-07-07 14:31:24
阅读次数：
164
版权声明：原创作品，同意转载，转载时请务必以超链接形式标明文章原始出版、作者信息和本声明。否则将追究法律责任。本文地址： http://blog.csdn.net/jobchanceleo/archive/2008/10/17/3089644.aspx08年10月份Leo博客每周共计3次更新。前次写...
分类：
其他好文 时间：
2014-07-07 14:32:09
阅读次数：
233
B+树最常用，性能也不差，用于范围查询和单值查询都可以。特别是范围查询，只有用B+树这种顺序索引才行。HASH索引的如果只是对单值查询的话速度会比B+树快一点。位图的使用情况很局限，只有很少的情况才能用，一定要确定真正适合使用这种索引才用（值的类型很少并且需要复合查询），否则建立一大堆位图就一点意....
分类：
数据库 时间：
2014-07-07 14:32:49
阅读次数：
268
MFC应用程序中处理消息的顺序1.AfxWndProc()该函数负责接收消息，找到消息所属的CWnd对象，然后调用AfxCallWndProc2.AfxCallWndProc()该函数负责保存消息(保存的内容主要是消息标识符和消息参数)供应用程序以后使用，然后调用WindowProc()函数3.Wi...
分类：
其他好文 时间：
2014-07-07 14:34:05
阅读次数：
101
iOS开发网络篇—网络请求（HTTP协议）小结1. 聊一下HTTP协议(协议的完整的通信过程)2.通信过程1> 请求* 客户端 --> 服务器* 请求的内容a. 请求行(请求方法\HTTP协议\请求资源路径)b. 请求头(描述客户端的信息)c. 请求体(POST请求才需要有, 存放具体数据)2> 响...
分类：
移动开发 时间：
2014-07-07 14:33:26
阅读次数：
293
欢迎转载，转载请注明出处，徽沪一郎。概要在即将发布的spark 1.0中有一个新增的功能，即对sql的支持，也就是说可以用sql来对数据进行查询，这对于DBA来说无疑是一大福音，因为以前的知识继续生效，而无须去学什么scala或其它script.一般来说任意一个sql子系统都需要有parser,op...
分类：
数据库 时间：
2014-07-07 14:34:40
阅读次数：
396
python类库32[多进程同步Lock+Semaphore+Event]同步的方法基本与多线程相同。1) Lock当多个进程需要访问共享资源的时候，Lock可以用来避免访问的冲突。importmultiprocessingimportsysdefworker_with(lock,f):withlo...
分类：
编程语言 时间：
2014-07-07 14:35:20
阅读次数：
195
KVM虚拟化技术生态环境介绍 http://xanpeng.github.io/wiki/virt/kvm-virtulization-echosystem-intro.html kvm和qemu/qemu-kvm的关系 qemu vs. qemu-kvm: 从qemu 1.3开始，kvm user...
分类：
其他好文 时间：
2014-07-07 14:36:04
阅读次数：
329
欢迎转载，转载请注明出处，徽沪一郎，谢谢。在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理...
分类：
其他好文 时间：
2014-07-07 14:36:48
阅读次数：
275
iOS开发网络篇—JSON介绍一、什么是JSONJSON是一种轻量级的数据格式，一般用于数据交互服务器返回给客户端的数据，一般都是JSON格式或者XML格式（文件下载除外）JSON的格式很像OC中的字典和数组{"name" : "jack", "age" : 10}{"names" : ["jack...
分类：
移动开发 时间：
2014-07-07 14:37:29
阅读次数：
266
安装rubyyum install ruby irb rdoc安装Haskallyum install ghc安装io语言安装io语言，需要先安装cmake不过不要使用yum来进行安装，yum安装的版本太低了，最好是源代码进行安装下载源代码进入之后执行./configure在configure执行完...
分类：
其他好文 时间：
2014-07-07 14:38:12
阅读次数：
233
一 picklepickle模块用来实现python对象的序列化和反序列化。通常地pickle将python对象序列化为二进制流或文件。python对象与文件之间的序列化和反序列化：pickle.dump()pickle.load()如果要实现python对象和字符串间的序列化和反序列化，则使用：p...
分类：
编程语言 时间：
2014-07-07 14:38:53
阅读次数：
256
前几天服务器出现了一些问题，然后组内同学就这些问题写过一篇文章，下面是顺着那篇文章，接着写一些内容。一：GC算法的类型 GC也就是垃圾回收，和我们日常中的垃圾回收一样，语言中的垃圾回收也是表示对已经不再使用的对象进行清理，获得更多的内存空间；日常生活中也是一样的，比如去餐厅吃饭，每个人都要用到碗.....
分类：
编程语言 时间：
2014-07-07 14:39:30
阅读次数：
290
GDB: The GNU Project Debuggerhttp://www.gnu.org/software/gdb/Download from: ftp://sourceware.org/pub/gdb/releases/Build:PC side:cd /opt/crosstool/src/...
分类：
移动开发 时间：
2014-07-07 14:40:40
阅读次数：
225
鉴于B/S架构在维护成本和客户端配置等方面所具有的绝对优势，越来越多的系统采用了B/S架构，包括ERP、CRM等管理系统也开始向Internet靠拢。而B/S架构的系统却往往很难预计到系统并发访问数有多少，系统往往在高并发访问量的时候出现性能瓶颈，具体表现为页面提示超时信息或者提示数据库抛出的...
分类：
Web程序 时间：
2014-07-07 14:40:08
阅读次数：
246
一 入门IDE作为python的初学者，在语法和类库学习阶段，我们可以使用以下简单使用的IDE：1） Python SDK 自带的IDEL（Python GUI）2） Komodo-Edit3） NotePad++二 终极IDE 之 Eclipse+PyDev1 特点1）开源免费2）代码完成和调试3...
分类：
编程语言 时间：
2014-07-07 14:41:20
阅读次数：
279
