一、SparkContext原理1、图解二、SparkContext源码1、TaskScheduler创建###SparkContext.scala// Create and start the scheduler private[spark] var (schedulerBackend, task... ...
分类:
其他好文 时间:
2019-07-17 15:26:23
阅读次数:
125
项目中遇到,要蓝牙针式打印机,用手机打印表单。感谢专家,对厂家提供的SDK进行了封装,实现利用Delphi开发出这一功能。 现在来看看,如何利用这一控件实现打印过程: TCCFujitsuPrinter提供了上面几个方法,利用startScanDevices扫描蓝牙打印机, 然后我们用stopSca ...
分类:
其他好文 时间:
2019-07-11 09:57:59
阅读次数:
120
在使用schedule创建定时任务时,出现空指针的解决方式。
分类:
其他好文 时间:
2019-07-06 21:02:04
阅读次数:
408
1 完整异常信息 问题 Airflow调度服务无法启动 解决办法 <!--?xml version="1.0" encoding="UTF-8"?--> 删除pid文件,重启就ok了。 ...
分类:
其他好文 时间:
2019-07-05 00:26:03
阅读次数:
153
LiveListenerBus 首先,它定义了 4 个 消息堵塞队列,队列的名字分别为shared、appStatus、executorManagement、eventLog。队列的类型是 org.apache.spark.scheduler.AsyncEventQueue#AsyncEventQu ...
分类:
其他好文 时间:
2019-07-02 00:25:21
阅读次数:
97
一、Scrapy框架入门 1.Scrapy框架介绍 Scrapy是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,其架构清晰,榄块之间的榈合程度低,可扩展性极强,可以灵活完成各种需求。 Engine:引擎,处理整个系统的数据流处理、触发事务,是整个框架的核心。 Item:项目, ...
分类:
编程语言 时间:
2019-06-29 23:47:10
阅读次数:
170
--查看当前链接情况: select * from sys.servers; --使用 sp_helpserver 来显示可用的服务器 Exec sp_helpserver --删除已经存在的某个链接 Exec sp_droplinkedsrvlogin 服务器别名,NullExec sp_drop ...
分类:
数据库 时间:
2019-06-29 15:05:50
阅读次数:
124
一、Scrapy架构图及流程: 中文解释: 1、Scrapy Engine(引擎): 引擎负责控制数据流在系统的所有组件中流动,并在相应动作发生时触发事件。 2、Scheduler(调度器): 调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎。 3、Downloader( ...
分类:
其他好文 时间:
2019-06-28 22:51:25
阅读次数:
146