Linux命令千千万,总有几个特别的好用。 遇到一个就增加一个。 理解Linux的设计哲学:一个程序只干很少的一部分事情。 今天先来学习第一个。 Linux批量删除文件 find ./ -name *.md | xargs rm -rf 批量删除带空格的文件 find ./ -name *.md - ...
分类:
系统相关 时间:
2021-06-02 20:56:09
阅读次数:
0
作用:数据库有几千万条数据,这些数据需要展示,我们不可能直接从数据库把数据全部读取出来,这样会给内存造成特别大的压力,有可能还会内存溢出,所以我们希望一点一点的取,那展示的时候也是一样的,总是要进行分页显示,我们之前自己都写过分页。 导入分页模块 from django.core.paginator ...
分类:
其他好文 时间:
2021-06-02 18:23:56
阅读次数:
0
ShardingSphere你还不会吗?(第一篇) 作者:星晴(当地小有名气,小到只有自己知道的杰伦粉) 一.需求 我们做项目的时候,数据量比较大,单表千万级别的,需要分库分表,于是在网上搜索这方面的开源框架,最常见的就是mycat,sharding-sphere,最终我选择后者,用它来做分库分表比 ...
分类:
其他好文 时间:
2021-06-02 15:46:34
阅读次数:
0
前言 最近有个需求解析一个订单文件,并且说明文件可达到千万条数据,每条数据大概在20个字段左右,每个字段使用逗号分隔,需要尽量在半小时内入库。 思路 1.估算文件大小 因为告诉文件有千万条,同时每条记录大概在20个字段左右,所以可以大致估算一下整个订单文件的大小,方法也很简单使用FileWriter ...
分类:
其他好文 时间:
2021-05-24 07:12:58
阅读次数:
0
rsync+notify实时同步 简介 rsync与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。 随着应用系统规模的不断扩大,对数据的 ...
分类:
其他好文 时间:
2021-05-24 06:25:50
阅读次数:
0
问题概述 使用MySQL数据库,有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死。严重影响业务。 问题前提:老系统,当时设计系统的人大概是大学没毕业,表设计和sql语句写的不仅仅是垃圾,简直无法直视。原开发人员都已离职,到我来维护,这就是传说中 ...
分类:
数据库 时间:
2021-05-24 06:01:31
阅读次数:
0
一般简单的业务场景不需要创建子线程,但是当有复杂的业务逻辑时,主线程(UI线程)需要等待这个业务处理完毕,例如,在一个单线程中产生一千万一个随机数,这时再拖动鼠标点击窗口会发生卡顿,影响用户体验。需要注意的是,只有主线程才能操作UI窗口,当子线程需要向窗口某个控件传递数据时,只能将数据传递给主线程( ...
分类:
编程语言 时间:
2021-05-24 01:52:13
阅读次数:
0
单例模式相信大家都有所听闻,甚至也写过不少了,在面试中也是考得最多的其中一个设计模式,面试官常常会要求写出两种类型的单例模式并且解释其原理,废话不多说,我们开始学习如何很好地回答这一道面试题吧。 什么是单例模式 面试官问什么是单例模式时,千万不要答非所问,给出单例模式有两种类型之类的回答,要围绕单例 ...
分类:
其他好文 时间:
2021-05-03 12:37:27
阅读次数:
0
最近,我们在一次copy数据库表的时候发生了OOM。经过查询日志和jvm堆dump文件,我们发现是从一个大表里取出数据的时候出现了OOM。 环境: Linux、jdk8、hikari连接池、postgresql数据库 功能:从数据库一个千万级数据的表,批量获取数据,然后插到另外一个表 问题描述:在获 ...
分类:
数据库 时间:
2021-04-20 14:29:36
阅读次数:
0
前言 在前端工程化日趋复杂的今天,模块打包工具在我们的开发中起到了越来越重要的作用,其中webpack就是最热门的打包工具之一。 说到webpack,可能很多小伙伴会觉得既熟悉又陌生,熟悉是因为几乎在每一个项目中我们都会用上它,又因为webpack复杂的配置和五花八门的功能感到陌生。尤其当我们使用诸 ...
分类:
Web程序 时间:
2021-04-13 12:12:53
阅读次数:
0