live555为单线程执行，直接执行sleep(),会导致消息接受函数得不到执行，而且会停止所有的工作。 如何在等待的同时，可以进行其他的工作 在live555中使用env->taskScheduler().doEventLoop()进行消息等待。 void BasicTaskScheduler0: ...
分类：
其他好文 时间：
2020-09-11 16:16:49
阅读次数：
53
Spark 源码解读（一）SparkContext的初始化之TaskScheduler的启动 TaskScheduler创建完成之后，需要调用start()方法才可以生效，SparkContext的代码如下： _taskScheduler.start() TaskScheduler在启动的时候，实际 ...
分类：
其他好文 时间：
2020-07-14 00:25:58
阅读次数：
81
Spark 源码解读（四）SparkContext的初始化之创建任务调度器TaskScheduler TaskScheduler负责任务任务的提交，并请求集群管理器对任务的调度。创建TaskScheduler的代码如下： val (sched, ts) = SparkContext.createTa ...
分类：
其他好文 时间：
2020-07-03 00:59:56
阅读次数：
63
全局异常 TaskScheduler.UnobservedTaskException += (e, args) =>{ MessageBox.Show("dddddddddddddddd"); }; 即便有个Task发生了未处理的异常，也不会立即触发这个事件，而是那个Task必须被GC回收时才会触发 ...
分类：
其他好文 时间：
2020-06-22 01:37:22
阅读次数：
111
项目开发中经常需要执行一些定时任务，比如需要在每天凌晨的时候，分析一次前一天的日志信息，Spring为我们提供了异步执行任务调度的方式，提供了两个接口。 TaskExecutor接口 TaskScheduler接口 两个注解： @EnableScheduling @Scheduled 测试步骤： 1 ...
分类：
其他好文 时间：
2020-06-01 21:03:02
阅读次数：
71
业务背景 假设我们这样一个需求：每天晚上定时将数据库数据刷新到缓存中。数据库为 10 库 10 表。每张表 100 万数据。 需求分析 10库10表总共1亿条数据，各条数据只要序列化为字符串，存入缓存即可，相互无关联。但数据量较大，单机多线程执行的情况下，执行性能也是极慢的。所以我们考虑集群的方式处 ...
分类：
其他好文 时间：
2020-05-24 20:48:04
阅读次数：
71
源码解析 主构造函数代码 private[spark] var (schedulerBackend, taskScheduler) = SparkContext.createTaskScheduler(this, master) createTaskScheduler，创建TaskScheduler ...
分类：
其他好文 时间：
2020-05-10 23:08:55
阅读次数：
63
转：https://blog.csdn.net/chwshuang/article/details/52840539 最近使用Spring + SpringMvc + Quartz搭建的零配置系统中，使用@annotation注解方式, 直接在类的方法上使用@Scheduled(cron=”0 /5 ...
分类：
编程语言 时间：
2020-02-24 18:43:18
阅读次数：
72
该功能主要是基于 TaskScheduler 和 CronTask两个类来实现。 直接干代码 1. 创建一个springboot 工程，依赖如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.or ...
分类：
编程语言 时间：
2020-02-15 18:39:57
阅读次数：
71
1.spark 架构， scala，IDE，compiler，plugin，hadoop，resourcemanager，taskscheduler，line，递归函数，memory，shuffle， dag,stage,taskset, sparksql,rdd,dataframe 二维表格，sq ...
分类：
其他好文 时间：
2020-01-16 14:23:34
阅读次数：
118
