标签：负载均衡 linux kernel checkpoint restart 分布式
我们都用过虚拟机，它能让保存一个正在运行系统的状态，这里用到的技术就是checkpoint，日后还可以restart，不过这是针对整个系统，有没有可能只checkpoint一个process，这个方向引来了研究热潮，CRAK就是其中做的比较不错的一个。
Checkpoint/restart技术应用场景：
1. 在分布式负载均衡方面，往往需要一个进程从一个host移到另一个host上
2. rollback：出错后可以回滚
3. 在系统关机前checkpoint，当系统重启后可以恢复程序执行
但是遗憾的是现在很多主流的商业和流行的操作系统，Unix，Linux等，都对fault-tolerance或分布式关注不够，并没有checkpoint/restart机制，这也给在其上加入这种机制带来很大的困难。虽然修改内核源码带来极大的困难，但有人想出了一个很聪明的办法：以内核可加载模块的形式引入checkpoint/restart机制。CRAK是这一理念的践行者，并可以作为模块应用在 linux kernel 2.6.25 版本 （但 2.6.24, 2.6.27 和 2.6.32 并不支持 CRAK）。
先来看一下CRAK的设计理念：
1. 不是重写OS，利用通用OS，以模块加载的形式工作在OS上
2. 支持legacy applications
3. 低的overhead，所以不依赖stub process和home node
CRAK的工作流程（讲述 process migration）：
1. 加载模块到内核
2. 发出请求：checkpoint一个process
3. kernel收到请求后stop这个process，之后开始checkpoint它
4. kernel将它的state存到一个file中，然后这个process被kill掉了（因为它要开始迁移了）
5. 在要迁移到的host上创建一个新的process，将保存的state给它
CRAK提供的user interface是：
1. checkpoint：用户要做的是指明哪个process被checkpoint，创建的checkpointed imgage被存在哪里（硬盘或网络发送）。我们上面在checkpoint后kill掉了进程，用户还可以选择不kill
2. restart：当要恢复时，用户要使用那个image，让进程重生
这样，我们可以自己创建一个程序来监管你想要checkpoint的程序，定期自动去checkpoint。
Checkpoint：
当用户说要checkpoint某个进程时，都有哪些进程信息要save：
其中前两个是必不可少的。address space由几个section组成，一个section就是一个memory block，有开始地址和结束地址，以及访问标志（read，write，execute，private和shared）。checkpoint会遍历该进程所有的sections，将每个section的position和访问标志以及内容都存到image中。但我们知道一个简单的进程都会占据几MB的内存，更别说像apache这样的占据几十甚至上百MB的process。但CRAK很smart，这么多section中有code sections，它是read-only的，因此不必save它，直接从程序的二进制文件中获取即可。同样我们也不必save那些shared libraries，只需存那些会被修改的sections。
如果在checkpointing的过程中进程仍在running，所checkpoint的状态和进程最终的状态就会出现不一致性，因此在checkpoint前就要stop它：
// we don't checkpoint a currently running process.
// stop it first.
if (p != current) {
send_sig(SIGSTOP, p, 0);
stop = 1;
}
if ((ret = do_checkpoint(fd, p, flags)) != 0)
return ret;
CRAK最聪明的一点就是以动态模块加载的方式工作，模块一加载，它就会成为内核空间的一部分，并以特权模式运行。实现这个理念是有难度的，module只可以和kernel协作，但不能随意更改它
Restart：
就像execve：
千言万语的价值不如几百行代码的价值，我想我们计算机人都应该信奉一条准则：
Don‘t talk, show me your code.
想法虽好，但要实现它，才是耗费心血的，下面来check一下CRAK的实现。
实现：
简单来说两个动作，一个文件，三个问题——
两个动作：checkpoint， restart
一个文件：存放process state的image file
三个问题：存哪些states？如何存？如何恢复这些states？
CRAK被加载后会将自己注册为一个device file：/dev/ckpt。这样用户程序就可以用标准文件的操作（open,close,write,read,ioctl）来跟这个kernel module交互了。CRAK提供ioctl这个接口来checkpoint和restart。
int checkpoint (int fd, int pid, int flags);
fd就是那个存process states的checkpoint image file，pid是要checkpoint的进程，flags标志有三种：
int restart (const char * filename, int pid, int flags);
filename是要加载的image file，从中恢复process。
pid：如果 flag 设为 RESTART_NOTIFY， 当restart结束后kernel会发送一个SIGUSR1信号给进程pid
flags：
此外还有几个重要的函数：
get_kernel_address()
我们都知道内存地址有虚拟地址和物理地址，对于一个process，它的虚拟地址和物理地址是不同的，但对于kernel来说，虚拟地址就是物理地址。传给这个函数两个参数进程p和要访问的进程p的地址addr（虚拟地址），通过p的页目录和页表就可以计算出物理地址。
再来看一下register set，存寄存器状态并不是一个新鲜事物，在context swtich里，一个process要被替换，首先要保存它的寄存器状态。这里用的是同样的原理，在实现上的问题是它存在哪里了。一个process有自己的占据8K（2×PAGE_SIZE） frame的kernel stack，而进程的task_struct就在这里面，同样register set就在这个stack的顶部。例如，一个进程的 task_struct *p， register set的位置就是：
struct pt_regs *regs = ((struct pt_regs *)(2*PAGE_SIZE + (unsigned long)p)) - 1;
可惜的是CRAK的研究和开发已经年代久远，2001年，所用的实验环境是
作者自己都说在测试时会遇到unexpected results，如segfaults，所以CRAK只能算是原型开发，我们想要自己去完善它。
最后谈一下它的overhead。主要的overhead是将checkpoint image存起来，所以还是比较低的。它可以选择要存的内存sections，只存必要的，这也降低了overhead。下面是几个测试，第一行是使用了 CKPT_NO_BINARY_FILE和CKPT_NO_SHARED_LIBRARIES的优化（不存code和shared libraries所在的sections），可以节省80%-90%的时间和空间。
如果要去研究它，最好选用 Virtualbox + Ubuntu 8.10，然后选择kernel 2.6.25 重新编译内核。或许你会碰到它运行出错的情况，这很有可能，毕竟这是个原型，而作者也说自己遇到了错误的结果，所以工作还是要靠我们自己来做。如果它运行异常，有可能是在dump内存是出错：
for (i = 0, vm = p->mm->mmap; vm!=NULL; i++, vm = vm->vm_next) {
unsigned char valid_mem;
/* Dump the memory segment */
valid_mem = valid_memory_segment(regs, p->mm, vm);
/* Dump pages and shared libs if we are allowed to */
if (!( ((no_binary && valid_mem) || (no_shrlib && !valid_mem)) &&
( !(vm->vm_flags&VM_WRITE) || (vm->vm_flags&VM_MAYSHARE)) &&
vm->vm_file )) {
if (dump_vm_area(f, p, vm)) {
ret = -EAGAIN;
goto out;
}
}
}
这里附上它的源码和文档，以及继承它的一项研究Zap。
CRAK源码：
http://www.cs.fsu.edu/~baker/devices/projects/ale/crak-2.6.25.6.tar.gz
CRAK文档：
http://www.cs.columbia.edu/techreports/cucs-014-01.pdf
http://www.cs.fsu.edu/~baker/devices/projects/ale/
Zap论文：
http://systems.cs.columbia.edu/projects/zap/
http://dl.acm.org/citation.cfm?id=844162
作为checkpoint/restart的应用场景，可以看这篇论文Rex （Microsoft）：
http://research.microsoft.com/pubs/216938/ppaxos.pdf
关于Kernel-based checkpoint and restart的信息：
http://lwn.net/Articles/293575/
CRAK——Linux上的checkpoint/restart技术
标签：负载均衡 linux kernel checkpoint restart 分布式
原文地址：http://blog.csdn.net/bluecloudmatrix/article/details/43644755
