1. fork 1.1 通过 fork 创建的父子进程对于fork之前打开的fd,共享文件偏移量。这是因为,父进程fork一个子进程后,会有自己的进程表项,因此二者各有一套相同的文件描述符表,他们共享了文件表项,因而也就共享了偏移量。此外,close 的关闭采用的是引用计数,当执行close时,是....
分类:
系统相关 时间:
2014-07-26 01:52:56
阅读次数:
326
一 scrapy-redis实现分布式爬取分析
所谓的scrapy-redis实际上就是scrapy+redis其中对redis的操作采用redis-py客户端。这里的redis的作用以及在scrapy-redis的方向我在自己fork的repository(链接:)已经做了翻译(README.rst)。
在前面一篇文章中我已经借助两篇相关文章分析了使用redis实现爬虫分布式的中心。归结起来...
分类:
其他好文 时间:
2014-07-24 23:13:44
阅读次数:
306
TCP并发服务器(一)——每个客户一个子进程1.说明这是最传统的并发服务器,对于每一个客户请求fork一个子进程。问题在于每次fork一个子进程比较耗费时间,下面会讲预创建进程。程序代码基于UNP的库。程序在使用进程的模式下是最慢的。2.代码#include "unp.h"int main(int ...
分类:
其他好文 时间:
2014-07-24 00:50:48
阅读次数:
224
概述 本篇博客主要描述ext2文件系统中的各种典型元数据结构,其中包括文件系统级别的元数据,如超级块,块组描述符等,也包括文件级的元数据,如文件目录项,文件inode等。ext2超级块 这里的超级块指的是ext2文件系统存储在磁盘上的超级块结构,之所以这么说是因为每个文件系统除了存储在磁盘...
分类:
其他好文 时间:
2014-07-23 12:20:36
阅读次数:
386
用Eclipse远程连接hadoop时报org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=READ_EXECUTE, inode="system":hadoop:supergroup:rwx-wx-wx错误,解决方法: ????...
分类:
系统相关 时间:
2014-07-22 22:37:34
阅读次数:
283
MKNetWorkKit是由一个印度小伙子写的,是用于网络请求的库,支持ARC,我fork了一下,代码的网址这里给出。 本人fork作者代码地址(DoubleYi):https://github.com/DoubleYi/MKNetworkKit 作者源码地址(Mugunth...
分类:
移动开发 时间:
2014-07-22 08:19:38
阅读次数:
308
功能:创建连接池,决定使用哪些事件驱动机制,以及初始化将要使用的事件模块该模块定义了ngx_event_core_commands数组处理其感兴趣的7个配置项ngx_event_conf_t为该模块定义的用于存储配置项参数的结构体在Nginx启动过程中还没有fork出worker子进程时,会首先调用...
分类:
其他好文 时间:
2014-07-22 00:34:34
阅读次数:
197
用数组chain[4]描述四种不同的索引,即直接索引、一级间接索引、二级间接索引、三级间接索引。举例说明这个结构各个域的含义。如果文件内的块号为8,则不需要间接索引,所以只用chain[0]一个Indirect结构,p指向直接索引表下标为8处,即&inode->u.ext2_i.i_data[8];...
分类:
其他好文 时间:
2014-07-22 00:08:36
阅读次数:
527
管道是UNIX系统IPC最古老形式,并且所有UNIX系统都提供此种通信机制。管道由下面两种局限性:1)历史上,它们是半双工的(即数据只能在一个方向上流动)2)它们只能在具有公共祖先的进程之间使用。通常,一个管道由一个进程创建,然后该进程调用fork,此后父、子进程之间就可应用该管道管道由调用pipe...
分类:
其他好文 时间:
2014-07-19 22:19:57
阅读次数:
189
一、fork入门知识一个进程,包括代码、数据和分配给进程的资源。fork()函数通过系统调用创建一个与原来进程几乎完全相同的进程,也就是两个进程可以做完全相同的事,但如果初始参数或者传入的变量不同,两个进程也可以做不同的事。 一个进程调用fork()函数后,系统先给新的进程分配资源,例如存储数据和代...
分类:
其他好文 时间:
2014-07-18 17:37:25
阅读次数:
328