Map Reduce是一个计算框架。Map函数发送到所有含有涉及数据的节点上运行，而Reduce之运行在多台主机上用作收集map结果用，reduce数量取决于reduce收集函数分了几个组，只在几个几个节点上运行。 shuffle机制：分组排序 MapReduce执行过程 map进程数量基于切片思想 ...
分类：
其他好文 时间：
2019-08-26 00:15:36
阅读次数：
87
一.进程池与线程池 进程池：限制进程创建的数量，使用时直接从进程池，获取空闲进程去执行任务，减少创建和销毁进程带来的时间消耗；如果进程的数量没有达到最大数量，且没有空闲进程去执行 任务，就会再创建一个新的进程，放入进程池去执行任务；如果进程池中的进程数量达到最大数量，没有空闲进程去，这是任务需要等待 ...
分类：
系统相关 时间：
2019-08-15 22:43:22
阅读次数：
149
CentOS7 haproxy+keepalived实现高可用集群搭建 1.1 本地操作系统环境 CentOS7 64位 [root@lb03 ~]# cat /etc/centos-release CentOS Linux release 7.5.1804 (Core) [root@lb03 ~] ...
分类：
其他好文 时间：
2019-08-14 16:58:56
阅读次数：
73
TP5.0.24+Workerman 进行 socket 通讯
分类：
其他好文 时间：
2019-07-26 10:46:07
阅读次数：
313
vmstat命令的含义为显示虚拟内存状态（“Virtual Memory Statistics”），但是它可以报告关于进程、内存、I/O等系统整体运行状态。 语法 选项 参数 事件间隔：状态信息刷新的时间间隔； 次数：显示报告的次数。 实例 字段说明： Procs（进程） r: 运行队列中进程数量， ...
分类：
其他好文 时间：
2019-06-20 14:24:12
阅读次数：
94
总结一次安装oracle的折腾血泪史环境准备 centos7 虚拟机VMware Workstation Pro14 IP：192.168.245.128(根据实际情况) 4G物理内存，8G虚拟内存,处理器2 Oracle的安装文件夹不低于15G 为虚拟机分配两个以上的处理器 磁盘SSD 远程登陆： ...
分类：
数据库 时间：
2019-06-15 13:26:55
阅读次数：
162
仓库地址 "https://github.com/xieyong1023/MultiProcess" 安装 使用composer 1. 将仓库加到你的项目 的`repositories`下 2. 安装 示例 规定子进程数量，主进程同时创建多个子进程执行同一个任务 可以传入回调函数，全部任务执行完后执 ...
分类：
Web程序 时间：
2019-04-28 18:38:39
阅读次数：
140
最近运维老大j哥找到我说了一个事儿：某私有化部署的线上环境nodejs进程数量多达1000+，对比公版线上环境的66个进程数显得十分诡异。并且单个nodejs进程所占用swap空间也较大，也不释放空间，日积月累下来是一个隐患。 我的debug过程比较顺畅，记录下来以备有同样烦恼者借鉴。 先用top命 ...
分类：
Web程序 时间：
2019-04-18 14:48:15
阅读次数：
237
一、tops 第一行 当前时间/已运行时间/登录用户数/最近 5 10 15分钟平均负载（平均进程数 cat /proc/loadavg） 除了前3个数字表示平均进程数量外，后面的1个分数，分母表示系统进程总数，分子表示正在运行的进程数；最后一个数字表示最近运行的进程ID。 系统平均负载-进阶解释 ...
分类：
其他好文 时间：
2019-04-15 11:45:31
阅读次数：
200
