Flink设置并行度的几种方式 代码中设置setParallelism() 全局设置： env.setParallelism(3); 部分设置算子设置： sum(1).setParallelism(3) 客户端CLI设置： ./bin/flink run -p 3 修改配置文件设置/conf/fli ...
分类：
其他好文 时间：
2020-03-18 11:28:37
阅读次数：
695
--表信息-- select owner, table_name, tablespace_name, num_rows,/*表数据量*/ temporary,/*是否是临时表*/ degree,/*并行度*/ blocks,/*快的数量*/ empty_blocks,/*空块的数量*/ last_a ...
分类：
数据库 时间：
2020-01-22 10:44:41
阅读次数：
138
参考：Max Degree of Parallelism最大并行度配置 结论： 与设置的线程数有关 有设置的并行度有关 测试如下： @@@code System.Threading.ThreadPool.SetMinThreads(20, 20); System.Threading.ThreadPo... ...
分类：
其他好文 时间：
2020-01-02 19:06:26
阅读次数：
180
一、State 在Flink中，按照基本类型，对State做了以下两类的划分： Keyed State，和Key有关的状态类型，它只能被基于KeyedStream之上的操作，方法所使用。我们可以从逻辑上理解这种状态是一个并行度操作实例和一种Key的对应， <parallel-operator-ins ...
分类：
其他好文 时间：
2019-12-11 12:57:38
阅读次数：
219
acid 原子性是基础，隔离性是手段，一致性是约束条件，而持久性是我们的目的 原子性：记录之前的版本，允许回滚 一致性：事务开始和结束之间的中间状态不会被其他事务看到 隔离性：适当的破坏一致性来提升性能与并行度 例如：最终一致~=读未提交。 持久性：每一次的事务提交后就会保证不会丢失（日志） ...
分类：
其他好文 时间：
2019-11-26 19:04:11
阅读次数：
67
1. 若复制中binlog使用row格式，对大表使用pt osc把数据从旧表拷贝到临时表，期间会产生大量的binlog，从而导致延时 2. pt osc在搬数据过程中insert...select是有行锁的，会降低事务并行度；且pt osc搬数据过程中生成的binlog不是并行的，所以在slave不 ...
分类：
其他好文 时间：
2019-11-25 18:05:54
阅读次数：
82
一、ceph概念 Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。 特点： （1）高性能： a. 摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。 b. ...
分类：
其他好文 时间：
2019-10-29 19:55:53
阅读次数：
117
一：Spark的性能优化，主要手段包括：1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化 / Checkpoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优6、提高并行度7、广播共享数据8、数据本地化9、reduceByKey和groupByKey的合理使用10 ...
分类：
其他好文 时间：
2019-10-27 22:29:23
阅读次数：
59
1.重排序概念 A.cpu会对代码执行顺序实现优化，不会对有依赖关系的数据做重排序。代码的执行顺序可能会发生改变，但是执行的结果不会发生任何改变。 B.as-if-serial：不管怎么去做重排序，目的是提高并行度，但是不能影响到正常的结果。 C.重排序在多线程情况下遇到 2.wait()和noti ...
分类：
编程语言 时间：
2019-09-06 01:14:20
阅读次数：
109
1.什么是浅拷贝，什么是深拷贝？ 2.storm的并行度问题，需要使用全局变量static ConcorrentHashMap，因为加了static，所有的线程只能拷贝该全局变量的一个唯一的副本，进行操作，其他线程只能等待该线程操作完成才能处理该副本，即实现了单线程操作该副本，线程是安全的；不加st ...
分类：
编程语言 时间：
2019-07-29 00:49:27
阅读次数：
139
