一、查询优化 1，mysql的调优大纲 慢查询的开启并捕获 explain+慢SQL分析 show profile查询SQL在Mysql服务器里面的执行细节和生命周期情况 SQL数据库服务器的参数调优 2，小表驱动大表 mysql的join实现原理是，以驱动表的数据为基础，“嵌套循环”去被驱动表匹配 ...
分类：
数据库 时间：
2021-01-20 12:07:20
阅读次数：
0
来源： 1 Flink 1.1 Flink参数配置 jobmanger.rpc.address jm的地址。 jobmanager.rpc.port jm的端口号。 jobmanager.heap.mb jm的堆内存大小。不建议配的太大，1-2G足够。 taskmanager.heap.mb tm的 ...
分类：
其他好文 时间：
2020-12-09 12:04:30
阅读次数：
4
pm = dynamic; 表示使用哪种进程数量管理方式 dynamic表示php-fpm进程数是动态的，最开始是pm.start_servers指定的数量，如果请求较多，则会自动增加，保证空闲的进程数不小于pm.min_spare_servers，如果进程数较多，也会进行相应清理，保证多余的进程数 ...
分类：
Web程序 时间：
2020-07-28 22:46:30
阅读次数：
95
Linux作为一个强大的操作系统，提供了一系列内核参数供我们进行调优。光TCP的调优参数就有50多个。在和线上问题斗智斗勇的过程中，笔者积累了一些在内网环境应该进行调优的参数。在此分享出来，希望对大家有所帮助。 调优清单 好了，在这里先列出调优清单。请记住，这里只是笔者在内网进行TCP内核参数调优的 ...
分类：
系统相关 时间：
2020-06-26 18:17:15
阅读次数：
107
1，在hdfs-site.xml 中配置多目录，提前配置好，以免以后要配置时，需要重启集群。 2，namenode 有一个工作线程池，用来处理不同的datanode的并发心跳和客户端访问并发请求。配置dfs.namenode.handler.count=20 * log2(Cluster Size) ...
分类：
其他好文 时间：
2020-06-16 13:33:15
阅读次数：
64
--查询检测是否已设置 SQL>show parameter log_file_sync SQL>show parameter parallel_force_local SQL>select client_name,status from dba_autotask_client; SQL>selec ...
分类：
其他好文 时间：
2020-05-15 00:39:32
阅读次数：
79
MySQL管理之道：性能调优、高可用与监控由资深MySQL专家撰写，以最新的MySQL版本为基础，以构建高性能MySQL服务器为核心，从故障诊断、表设计、SQL优化、性能参数调优、mydumper逻辑、xtrabackup热备份与恢复、MySQL高可用集群搭建与管理、MySQL服务器性能和服务监控等 ...
分类：
数据库 时间：
2020-04-29 12:27:38
阅读次数：
167
1.基本使用 1.1参数不冲突 参数不冲突时，直接用一个字典传递参数和要对应的候选值给GridSearchCV即可 我这里的参数冲突指的是类似下面这种情况：① 参数取值受限：参数a='a'时，参数b只能取'b'，参数a='A'时，参数b能取'b'或'B'② 参数互斥：参数 a 或 b 二者只能选一个 ...
分类：
其他好文 时间：
2020-04-28 00:10:02
阅读次数：
204
问题：如果在 shuffle 的时候没有指定 reduce 的个数，那么会有多少个 reduce？ 如果不指定 reduce 个数的话，就按默认的走： 1、如果自定义了分区函数 partitioner 的话，就按你的分区函数来走。 2、如果没有定义，那么如果设置了 spark.default.par ...
分类：
其他好文 时间：
2020-04-17 12:23:45
阅读次数：
70
超参数调优方法 网格搜索 通过查找搜索范围内的所有的点来确定最优值。如果采用较大的搜索范围以及较小的步长，网络搜索有很大概率找到全局最优值。然而，这种搜索方案十分消耗计算资源和时间，特别是需要调优的超参数比较多的时候，因此，在实际应用中，网格搜索法一般会使用较广的搜索范围和步长，来寻找全局最优值可能 ...
分类：
其他好文 时间：
2020-03-21 17:58:26
阅读次数：
67
