Mesos简介什么是MESOS？Apache Mesos 是一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行 Hadoop、MPI、Hypertable、Spark。几个基本概念：Mesos master:负责任务调度的节点。Mesos slave:负责执行任务的节点。Mesos 框架：需要由mesos调度的应用程序，比如hadoop、spark、marathon、chr
分类：
其他好文 时间：
2018-07-13 12:15:31
阅读次数：
163
前段时间因项目需要将kettle集成到我们自己的平台，以下是就整个开发中遇到的问题和开发的过程做一个总计。 本篇文章将从以下几个方面介绍：ETL和ELT,kettle的组成，kettle的原理，源码分析 1.ETL和ELT ETL和ELT都是数据整合的一种方式。 不同是ELT是先load数据，ETL ...
分类：
其他好文 时间：
2018-07-08 16:49:20
阅读次数：
242
airflow整合环境搭建 1. 整体结构 mysql 后端数据库 redis 用于broker CeleryExecutor 执行器 2. 环境安装 安装python anaconda环境 安装mysql相关依赖 安装相关模块 安装mysql 安装redis 配置airflow 启动airflow ...
分类：
其他好文 时间：
2018-06-26 00:55:53
阅读次数：
757
思考？ 1 为什么要使用执行器和线程池? 2 执行器和线程是什么?怎么使用 执行器 线程执行器分离了任务的创建和执行,提高了线程的性能 线程池 避免了频繁地创建和销毁线程,达到线程对象的重用,可以根据项目灵活地控制并发的数量 ExecutorService (java.util.concurrent ...
分类：
编程语言 时间：
2018-06-22 13:18:56
阅读次数：
132
原理： mybatis执行sql步骤： 通过sqlsessionFactory sqlsession Exector (执行器对象)mappedstatement(sql语句封装) 在执行mappedstatement前在sql语句上加上limit即可实现分页 步骤： 一、引入pageHelper的 ...
分类：
其他好文 时间：
2018-06-20 10:19:51
阅读次数：
212
2.1.1 Java程序的类型 Application程序 Applet程序 Application程序 Applet程序 结构和运行环境不同。 前者是独立的程序，需要执行器(调用虚拟机)来运行。 后者是嵌在HTML网页中的非独立的程序。 由专门的appletViewer来运行。 或者由Web 浏览 ...
分类：
编程语言 时间：
2018-06-17 11:03:13
阅读次数：
195
基本的查询过程： sqlsession >executor >statementhandler >statement >db 1、sqlsession.selectList()方法 2、executor.query 》baseExecutor中的query方法 3、doQuery会到对应的执行器实现 ...
分类：
其他好文 时间：
2018-06-13 00:12:11
阅读次数：
206
一个JVM实例只存在一个堆内存，堆内存的大小是可以调节的。类加载器读取了类文件后，需要把类、方法、常变量放到堆内存中，保存所有引用类型的真实信息，以方便执行器执行，堆内存分为三部分： Young Generation Space新生区Young Tenure generation space养老区O ...
分类：
其他好文 时间：
2018-06-06 18:22:23
阅读次数：
156
Spring通过任务执行器（TaskExecutor）来实现多线程和并发编程。使用ThreadPoolTaskExecutor可实现一个 基于线程池的TaskExecutor。而实际开发中任务一般是非阻碍的，即异步的，所以要在配置类中通过@EnableAsync开启对异步任务的支持，并通过在实际执行 ...
分类：
编程语言 时间：
2018-05-30 19:28:03
阅读次数：
210
它是一个线程池执行器（ThreadPoolExecutor）,在给定的延迟（delay）后执行。在多线程或者对灵活性有要求的环境下，要优于java.util.Timer。 ...
分类：
其他好文 时间：
2018-05-20 00:15:10
阅读次数：
193
