起因：最近需要从hbase中向 ES中导一批数据，使用multiprocessing 启动多个程序同时向ES导数据，可以大大提高效率，因为导数的任务是可以按照时间分割的。
令我十分不解的，multiprocessing 是如何实现任务的分发，以及结果的回传的。我希望能够把它的实现机制与操作系统的进程机制对应起来。
经过阅读代码，得出的结论如下：
1. 父进程作为整个任务的分发器，每个worker是一个子进程
2. 子进程和父进程之间通过管道通讯，包括任务的分发和结果的回传（2个【管道】) ，管道通过【信号量...
分类：
其他好文 时间：
2014-10-03 13:57:04
阅读次数：
284
从mysql搬一个大表到redis中，你会发现在提取、转换或是载入一行数据时，速度慢的让你难以忍受。这里我就要告诉一个让你解脱的小技巧。使用“管道输出”的方式把mysql命令行产生的内容直接传递给redis-cli，以绕过“中间件”的方式使两者在进行数据操作时达到最佳速度。一个约八百万行数据的mys...
分类：
数据库 时间：
2014-10-03 03:35:03
阅读次数：
253
初识Qt一、维基百科定义：Qt(/kjut/"cute",orunofficiallyasQ-Tcue-tee)isacross-platformapplicationframeworkthatiswidelyusedfordevelopingapplicationsoftwarewithagraphicaluserinterface(GUI)(inwhichcasesQtisclassifiedasawidgettoolkit),andalsousedfordevelopingnon-..
分类：
其他好文 时间：
2014-10-03 03:20:34
阅读次数：
237
概述1、Linux使用的进程间通信方式主要包括：（1）管道（pipe）和有名管道 （2）信号（signal） （3）共享内存 （4）消息队列 （5）信号量 （6）套接字（socket）2、问：为什么进程间需要通信？（1）数据传输 一个进程需要将它的数据发送给另外一个进程（2）资源共享 ...
分类：
其他好文 时间：
2014-10-02 18:46:03
阅读次数：
183
#include
#include
#include
char parent[] = "a message from parrent";
char child[] = "a message from child";
main ()
{
int chan1[2], chan2[2];
int pid;
char buf[100];
pipe(chan1);
...
分类：
系统相关 时间：
2014-10-01 23:48:01
阅读次数：
261
前言：今天学习的是I/O重定向。目的：帮助复习巩固。内容：1.I/O重定向就是改变输入和输出的来源和去向，>代表的是输出重定向，<代表的是输入重定向（这两个重定向都是会覆盖掉重定向文件的内容,>>表示的追加重定向，没有输入追加重定向。2.bash有一个开关功能的se..
分类：
系统相关 时间：
2014-10-01 21:06:52
阅读次数：
321
用户在使用SQL Server 2008远程链接时，可能会弹出如下对话框：在链接SQL服务器时发生网络链接错误或特定实例错误。SQL服务器不存在或者链接不成功。请验证用户名是否正确或SQL服务器是否已经配置远程链接功能。（错误发现方：命名管道供应方。错误代号：40---无法和SQL服务器进行链接）如...
分类：
数据库 时间：
2014-10-01 14:11:51
阅读次数：
284
现在linux使用的进程间通信方式：（1）管道（pipe）和有名管道（FIFO）（2）信号（signal）（3）消息队列（4）共享内存（5）信号量（6）套接字（socket)为何进行进程间的通信：A、数据传输：一个进程需要将它的数据发送给另一个进程，发送的数据量在一个字节到几M字节之间B、共..
分类：
系统相关 时间：
2014-10-01 00:27:41
阅读次数：
368
控制台
Object
用于向 stdout 和 stderr 打印字符。类似于大部分 Web 浏览器提供的 console 对象函数，在这里则是输出到 stdout 或 stderr。
当输出目标是一个终端或者文件时,console函数是同步的(为了防止过早退出时丢失信息).当输出目标是一个管道时它们是异步的(防止阻塞过长时间)。
也就是说，在下面的例子中，stdout
是...
只要加上 {$APPTYPE CONSOLE} 就可以使得windows窗口程序具有dos下的I/O能力，接受writeln readln，像cgi那样通过管道传输数据 program?console;
{$APPTYPE?CONSOLE}
uses
??Forms,
??fmconsole?in?‘fmco...
分类：
其他好文 时间：
2014-09-29 17:50:01
阅读次数：
170
