1.Application:基于spark的用户程序，包含了一个driver program 和集群中多个 executor 2.Driver Program:运行application的main()函数并自动创建SparkContext。通常SparkContext 代表driver progra ...
分类：
其他好文 时间：
2017-07-07 17:29:23
阅读次数：
210
DAGScheduler DAGScheduler的主要任务是基于Stage构建DAG，决定每个任务的最佳位置 记录哪个RDD或者Stage输出被物化 面向stage的调度层。为job生成以stage组成的DAG。提交TaskSet给TaskScheduler运行 又一次提交shuffle输出丢失的 ...
分类：
其他好文 时间：
2017-07-07 14:28:09
阅读次数：
213
8核的云服务器，开了200个php-fpm进程，用top命令查看 大部分进程都在cpu 0 上跑着，导致其他cpu 负载很低，cpu分配不均匀； 使用shell 解决问题: 列出所有php-fpm 进程， 用 taskset 重新分配cpu ...
分类：
Web程序 时间：
2017-07-03 13:57:41
阅读次数：
126
网上IBM很早放出的一本免费电子书， 十来年了，参考意义还是很大。 国内有翻译成中文在线阅读的版本。 见如下两个URL Linux Performance and Tuning Guidelines <Linux性能调优指南> https://www.gitbook.com/book/lihz199 ...
分类：
系统相关 时间：
2017-06-13 17:14:49
阅读次数：
271
taskset(util-linux-ng2.17.2)
usage:taskset[options][mask|cpu-list][pid|cmd[args...]]
setorgettheaffinityofaprocess
-p,--pidoperateonexistinggivenpid
-c,--cpu-listdisplayandspecifycpusinlistformat
-h,--helpdisplaythishelp
-V,--versionoutputversioninformation..
分类：
系统相关 时间：
2017-05-16 23:07:59
阅读次数：
1593
把stage生成的每个task创建一个taskset对象双重for循环，遍历所有taskset，以及每种本地化级别本地化级别有：1.process_local：进程本地化RDD的partition和task进入同一个executor中，速度最快2.node_local：RDD的partition和task不在一个executor上，但是在一个worker上3.NO_P..
分类：
编程语言 时间：
2017-05-05 23:04:50
阅读次数：
178
一、stress工具安装：1、获取stress源码安装包（stress-1.0.4.tar.gz）3、解压并安装 4、进入stress-1.0.4文件夹下，编译并安装stress 默认安装在：/usr/local/bin/stress二、stress工具使用： 命令：taskset –c 逻辑CPU ...
分类：
系统相关 时间：
2017-04-07 22:12:00
阅读次数：
434
昨晚和一位读者朋友讨论了一个问题：在一台多核 CPU 的 Web 服务器上，存在负载不均衡问题，其中 CPU0 的负载明显高于其它 CPUx，进一步调查表明 PHP-FPM 的嫌疑很大。话说以前我曾经记录过软中断导致过类似的问题，但是本例中可以排除嫌疑。让我们在一台四核服务器上采样分析一下数据确认看 ...
分类：
系统相关 时间：
2016-11-16 14:39:13
阅读次数：
278
快速入门 Example locustfile.py 这是一个快速入门的小例子 locustfile.py: from locust import HttpLocust, TaskSet def login(l): l.client.post("/login", {"username":"ellen ...
分类：
编程语言 时间：
2016-11-12 14:19:47
阅读次数：
483
上篇文章《 Spark 源码解析 : DAGScheduler中的DAG划分与提交》介绍了DAGScheduler的Stage划分算法。本文继续分析Stage被封装成TaskSet，并将TaskSet提交到集群的Executor执行的过程在DAGScheduler的submitStage方法中，将S... ...
分类：
编程语言 时间：
2016-08-06 11:07:58
阅读次数：
298
