1.优点 1.1 快！ 主节点生成执行计划树并分发执行计划至各节点并行执行的拉式获取数据（MR：推式获取数据） 计算的中间结果不写入磁盘 1.2 便利 提供SQL语义，可以方便的进行复杂的数据分析任务 2.缺点 2.1 啃内存 对于内存的依赖过于严重，内存溢出直接导致技术任务的失败 2.2 SQL支 ...
分类：
其他好文 时间：
2019-01-20 23:33:03
阅读次数：
418
需求描述 问题：subquery 1 union subquery2，其中union左右的两个子查询是否并行。 场景：业务中性能敏感的业务，希望能加快速度，如果数据库能两个子查询并行执行，既可以节省时间，还可以节省网络开销 测试结果 分析：mysql是一个连接分配一个进程，这样的一个SQL也不会分成 ...
分类：
其他好文 时间：
2019-01-17 15:07:03
阅读次数：
283
CountDownLatch简介 CountDownLatch是一种java.util.concurrent包下一个同步工具类，它允许一个或多个线程等待直到在其他线程操作执行完成。 使用场景： 在开发过程中，经常会遇到需要在主线程中开启多条线程去并行执行任务，并且主线程需要等待所有子线程执行完毕后再 ...
分类：
其他好文 时间：
2019-01-14 20:08:55
阅读次数：
184
什么是线程 线程是应用程序中工作的最小单元,或者称之为微进程.它是进程的实际运作单位,一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。 开启线程的两种方式 from threading import Thread def f1(n): print(" ...
分类：
编程语言 时间：
2019-01-13 21:10:02
阅读次数：
186
学习资料下载地址：http://www.edawiki.com 开篇体会; Xilinx的ZYNQ系列FPGA是二种看上去对立面的思想的融合，ARM处理器的串行执行+FPGA的并行执行，着力于解决大数据处理、人工智能等复杂高性能算法处理。 新的设计工具的推出，vivado HLS，更加注重嵌入式系统 ...
分类：
其他好文 时间：
2019-01-10 19:32:48
阅读次数：
204
thread 在数据预处理的时候用处不大，因为有GIL 锁 查看thread信息 定义thread job并开启 join()的功能 先运行join的功能，然后再运行join 下面的。 注释掉 19、20 你也可以添加thread_2.join()进行尝试，但为了规避不必要的麻烦，推荐如下这种122 ...
分类：
编程语言 时间：
2019-01-10 19:27:21
阅读次数：
183
线程安全 线程安全是多线程编程时的计算机程序代码中的一个概念。在拥有共享数据的多条线程并行执行的程序中，线程安全的代码会通过同步机制保证各个线程都可以正常且正确的执行，不会出现数据污染等意外情况。 多个线程访问同一个对象时，如果不用考虑这些线程在运行时环境下的调度和交替执行，也不需要进行额外的同步， ...
分类：
编程语言 时间：
2019-01-05 18:13:37
阅读次数：
237
来源 https://www.imooc.com/learn/1086 作用 ? 同步方法支持一种简单的策略来防止线程干扰和内存一致性错误，如果一个对象对多个线程可见，则对该对象变量的所有读取或写入都是通过同步方法完成的。 ? 即：能够保证在同一时刻最多只有一个线程执行该段代码，达到保证并发安全的效 ...
分类：
其他好文 时间：
2019-01-04 10:30:55
阅读次数：
159
第二章 进程管理 输入一批数据 处理数据 打印处理结果 程序的顺序执行特点 顺序性 封闭性 可再现性 程序的并行执行 间断性 失去封闭性 不可再现性 程序并发执行 同一个程序在不同数据集合上的执行 不同的程序在不同数据集合上的执行 程序 具有独立功能的一组指令的集合 进程 允许并发执行的程序在某个数 ...
分类：
其他好文 时间：
2018-12-29 17:19:14
阅读次数：
192
功能： 1、分布式：重写quartz基于数据库的分布式功能，改用zookeeper实现注册中心； 2、并行调度：采用任务分片方式实现，将一个任务拆分成n个独立的任务项，由分布式的服务器并行执行各自分配到的分片项； 3、弹性扩容缩容：将任务拆分为n个任务项后，各个服务器分别执行各自分配到的任务项，一旦 ...
分类：
其他好文 时间：
2018-12-16 11:51:11
阅读次数：
97
