每个task处理一个partition，一个文件的大小/128M就是task的数量 Task的最大并发数 当task被提交到executor之后，会根据executor可用的cpu核数，决定一个executor中最多同时运行多少个task。 默认情况下一个task对应cpu的一个核。如果一个exec ...
分类：
其他好文 时间：
2021-02-02 11:14:58
阅读次数：
0
工作久了，人总会有种忘记初心的感觉。 相信每个人小时候都想过成为一名科学家，只不过到后来，连自己都忘了。 当一名科学家确实不容易，学术研究难，薪酬待遇还不高，如果不是真的热爱，很难走下去。 但在腾讯，你可以把学术当成工作，工作就是做学术，而且两者都可以做得很好。是的，你没有听错。 今天，**腾讯云两 ...
分类：
数据库 时间：
2021-02-02 11:07:23
阅读次数：
0
什么是数据库缓存 数据库的数据都存储在磁盘中，在高并发场景下，业务应用对MySQL产生的增删改查操作造成巨大的IO开销和查询压力，这无疑对数据库和服务器都是一种巨大的压力，为了解决此类问题，缓存数据的概念应运而生。 常见的缓存形式：内存缓存、文件缓存。 极大地解决数据库服务器的压力 提高应用数据的响 ...
分类：
数据库 时间：
2021-02-02 10:49:49
阅读次数：
0
# linux 下 取进程占用 cpu 最高的前10个进程ps aux|head -1;ps aux|grep -v PID|sort -rn -k +3|head # linux 下 取进程占用内存(MEM)最高的前10个进程ps aux|head -1;ps aux|grep -v PID|so ...
分类：
系统相关 时间：
2021-01-30 11:52:19
阅读次数：
0
本来想直接写docker知识点的，但是感觉只有了解containers的发展历程，才能知道技术知识点的来龙去脉，建立起一个线性的链条，把知识点串联起来。 1979: Unix V7 在1979年开发Unix V7期间，引入了chroot系统调用功能。这个功能将进程及其子进程的根目录更改为文件系统中的 ...
分类：
其他好文 时间：
2021-01-27 13:44:51
阅读次数：
0
题意 单源最短路，这里的最短路定义为 \(\sum_{i=1}^kw_i - max_{i=1}^kw_i + min_{i=1}^kw_i\) 就是普通的路径长度减去路径上最大的边权再加上最小的边权 思路 分层图跑 Dij ，可以搞成两个操作，一个是使边权变成 0 ，还有一个是把边权变成两倍。 这 ...
分类：
其他好文 时间：
2021-01-25 10:45:22
阅读次数：
0
free：命令显示系统内存的使用情况，包括物理内存、交换内存(swap)和内核缓冲区内存。 语法格式：free 【选项】 输出的内容：Mem 行(第二行)是内存的使用情况。Swap 行(第三行)是交换空间的使用情况。total 列显示系统总的可用物理内存和交换空间大小。used 列显示已经被使用的物 ...
分类：
系统相关 时间：
2021-01-20 12:04:54
阅读次数：
0
hbase写数据流程 ?先从 zk找到meta表的region位置，然后读取meta表中的数据，meta表中存储了用户表的region信息 根据namespace、表名和rowkey信息。找到写入数据对应的 region信息 找到这个region对应的regionServer，然后发送请求 把数据分 ...
分类：
其他好文 时间：
2021-01-18 11:07:30
阅读次数：
0
一、进程管理 1、ps查看进程 [root@VM-4-16-centos ~]#ps -aux USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND root 1 0.0 0.3 43596 3440 ? Ss Jan08 0:16 /usr/ ...
分类：
系统相关 时间：
2021-01-16 12:03:46
阅读次数：
0
生产者 KafkaExtendProducer.send("topic","key","value"); 消费者 @Slf4j @RequiredArgsConstructor @Component public class ConsumerThread implements Runnable { ...
分类：
其他好文 时间：
2021-01-15 11:46:10
阅读次数：
0
