背景: 通常在UNIX下面处理文本文件的方法是sed、awk等shell命令,对于处理大文件受CPU,IO等因素影响,对服务器也有一定的压力。关于sed的说明可以看了解sed的工作原理,本文将介绍通过python的mmap模块来实现对大文件的处理,来对比看他们的差异。 说明: mmap是一种虚拟内存 ...
分类:
编程语言 时间:
2020-09-17 21:25:55
阅读次数:
40
[HTML canvas strokeText() 方法 HTML canvas 参考手册实例使用 strokeText(),在画布上写文本 "Hello world!" 和 "Big smile!"(带渐变):YourbrowserdoesnotsupporttheHTML5canvastag.v... ...
分类:
Web程序 时间:
2020-07-09 12:04:48
阅读次数:
102
一、基本概念 大数据也称之为LOB(Large Objects),LOB又分为:clob和blob,clob用于存储大文本,blob用于存储二进制数据,例如图像、声音、二进制文等。 在实际开发中,有时是需要用程序把大文本或二进制数据直接保存到数据库中进行储存的。 对MySQL而言只有blob,而没有 ...
分类:
其他好文 时间:
2020-07-03 23:11:05
阅读次数:
72
专注Java领域分享、成长,拒绝浅尝辄止 作者:A哥(YourBatman) 公众号:BAT的乌托邦(ID:BAT-utopia) 个人博客:https://www.yourbatman.cn,本文已收录 前言 各位小伙伴大家好,我是A哥。停更1个月后回归啦,今天咱们聊聊一个比较有意思的话题:是否真 ...
分类:
Web程序 时间:
2020-07-02 21:26:59
阅读次数:
73
MySQL简介 MySQL由瑞典MySQL AB公司开发,目前属于Oracle公司。 MySQL是一个开源的关系型数据库管理系统。 MySQL分为社区版和企业版。 MySQL简单命令启动mysql :net start mysql(也可以启动其他的服务) 停止mysql :net stop mysq ...
分类:
数据库 时间:
2020-06-26 16:44:45
阅读次数:
111
去重复行,用SQL写很简单,就一句SELECT DISTINCT … FROM。但是文件上没法直接用SQL了,想用SQL还得找个数据库先建表,也很麻烦。如果是小文件,那用java对付一下也不太费劲,大概这样: String file ="d:/urls.txt"; ArrayList<String> ...
分类:
编程语言 时间:
2020-06-15 10:09:59
阅读次数:
114
简单提高文本读取效率,使用BufferedReader是个不错的选择。速度最快的方法是MappedByteBuffer,但是,相比BufferedReader而言,效果不是非常明显。也就是说,后者虽然快,但也快的有限(不要抱有性能提升几倍的幻想)。 对于大文本的读取,性能瓶颈主要在IO,read占时 ...
分类:
编程语言 时间:
2020-06-02 09:21:09
阅读次数:
77
HTTP接口请求: 请求: 请求行: 请求方法 GET:请求资源(倾向于下载数据下来,打开网站主页;明文可见的直接在链接里面) POST:提交资源(倾向于向服务器提交数据(大文本);对于普通用户来讲是隐藏的) Head:获取响应头 PUT:替换资源 DELETE:删除资源 OPTIONS:允许客户端 ...
分类:
Web程序 时间:
2020-05-18 22:40:47
阅读次数:
135
MySQL支持多种类型,大致可以分为三类:数值、日期/时间和字符串(字符)类型。 一、数值类型 MySQL支持所有标准SQL数值数据类型。 这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC),以及近似数值数据类型(FLOAT、REAL和DOUBLE PR ...
分类:
数据库 时间:
2020-05-10 10:55:49
阅读次数:
85
1. 数据存储 超大文本,或者图片、视频等二进制文件避免直接存储在数据库。 2.数据访问 减少数据库访问;实时性要求不高、不常变化的数据;通过cache提示系统性能,减少数据库压力。 减少无用数据的查询。 3.硬件影响 并发量高,但每次访问数据量小,对CPU处理能力、核数要求比较高。 并发量低,但是 ...
分类:
数据库 时间:
2020-05-02 23:17:57
阅读次数:
126