第五节介绍了TaskScheduler的创建，要想TaskScheduler发挥作用，必须要启动它，代码： TaskScheduler在启动的时候，实际调用了backend的start方法，即同时启动了backend。local模式下，这里的backend是localSchedulerBackend ...
分类：
其他好文 时间：
2018-07-15 22:13:31
阅读次数：
154
from locust import HttpLocust, TaskSet, taskimport pymysqlimport randomclass UserBehavior(TaskSet): def on_start(self): db = pymysql.connect("ip地址", " ...
分类：
数据库 时间：
2018-07-06 10:07:15
阅读次数：
275
shuffle概览 shuffle过程概览 shuffle数据流概览 shuffle数据流 shuffle工作流程 在运行job时，spark是一个stage一个stage执行的。先把任务分成stage，在任务提交阶段会把任务形成taskset，在执行任务。 spark的DAGScheduler根据 ...
分类：
其他好文 时间：
2018-06-26 00:54:48
阅读次数：
211
Locust 可没有傻瓜式的脚本录制功能，要想用它来做性能测试，必须撸起袖子来写代码。不过。它并不难！ 编写简单的性能测试脚本 创建 load_test.py 文件，通过 Python 编写性能测试脚本。 from locust import HttpLocust, TaskSet, task # ...
分类：
其他好文 时间：
2018-05-14 00:53:56
阅读次数：
540
taskset命令taskset设定cpu亲和力，task能够将一个或多个进程绑定到一个或多个处理器上运行。参数：-c，--cpu-list以列表格式显示和指定cpu-p，--pid在已经存在的pid上操作设置只在1和2号cpu运行sshd进程程序[root@apenglinux-002~]#taskset-cp1,2914pid914‘scurrentaffinitylist:0-3pid914
分类：
其他好文 时间：
2018-04-12 20:51:11
阅读次数：
146
摘要spark的调度一直是我想搞清楚的东西，以及有向无环图的生成过程、task的调度、rdd的延迟执行是怎么发生的和如何完成的，还要就是RDD的compute都是在executor的哪个阶段调用和执行我们定义的函数的。这些都非常的基础和困难。花一段时间终于弄白了其中的奥秘。总结起来，以便以后继续完善。spark的调度分为两级调度：DAGSchedule和TaskSchedule。DAGSchedule是根据job来生成相互依赖的stages，然后把stages以TaskSet形式传递给TaskSchedule来进行任务的分发过程，里面的细节会慢慢的讲解出来的，比较长
分类：
其他好文 时间：
2018-03-26 17:24:25
阅读次数：
202
常常感觉系统资源不够用，一台机子上跑了不下3个比较重要的服务，但是每天我们还要在上面进行个备份压缩等处理，网络长时间传输，这在就很影响本就不够用的系统资源； 这个时候我们就可以把一些不太重要的比如copy/备份/同步等工作限定在一颗cpu上，或者是多核的cpu的一颗核心上进行处理，虽然这不一定是最有 ...
分类：
系统相关 时间：
2018-01-25 10:52:57
阅读次数：
194
进程cpu资源分配就是指进程的优先权（priority）。优先权高的进程有优先执行权利。配置进程优先权对多任务环境的linux很有用，可以改善系统性能。还可以把进程运行到指定的CPU上，这样一来，把不重要的进程安排到某个CPU，可以大大改善系统整体性能。 一、先看系统进程： PR 就是 Priori ...
分类：
系统相关 时间：
2018-01-25 10:52:28
阅读次数：
258
TaskScheduler 原理： 1. DAGScheduler 在提交Taskset给底层调度器的时候是面向接口TaskScheduler的， 这符合面向对象中依赖抽象原则，带来底层资源调度器的可插拔性， 导致Spark可以运行在众多的资源高度器模式上。例如： Standalone, Yarn, ...
分类：
其他好文 时间：
2017-12-24 20:10:34
阅读次数：
147
创建测试脚本 创建Test()类继承TaskSet类 创建beigong() 方法表示一个行为，访问北弓官网首页。用@task() 装饰该方法为一个任务。1表示一个Locust实例被挑选执行的权重，数值越大，执行频率越高。在当前Test()行为下只有一个beigong()任务，所以，这里的权重设置为 ...
分类：
其他好文 时间：
2017-10-17 12:24:55
阅读次数：
188
