Z-Tree是一个可以对大数据排序的数据结构。Z-Tree排序的时间复杂度是O(n)。 Z-Tree可以取代Hash表实现关键字(Key)到值(Value)的映射。 Z-Tree Demo展示了怎样用Z-Tree对若干GB的大文件排序。 Z-Tree Demo同时展示了怎样用Z-Tree来实现大量关 ...
分类:
编程语言 时间:
2017-11-21 23:43:56
阅读次数:
232
一、Presto简介1、PRESTO是什么?Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。2、它可以做什么?Presto支持在线数据查询,包括H... ...
分类:
其他好文 时间:
2017-11-18 22:33:01
阅读次数:
405
php的header来定义一个php页面为utf编码或GBK编码 php页面为utf编码 header("Content-type: text/html; charset=utf-8"); php页面为gbk编码 header("Content-type: text/html; charset=gb ...
分类:
Web程序 时间:
2017-11-13 19:57:36
阅读次数:
156
原文链接http://www.cnblogs.com/Loonger/p/7815335.html 使用命令pip3 install pylint安装pylint是出现错误。查了一圈也找不到答案。仔细看了下给出的错误信息, 应该是编码问题。就顺着这行(错误信息的倒数第三行) 试着把utf_8改成gb ...
分类:
其他好文 时间:
2017-11-10 18:40:16
阅读次数:
1101
看到sort_buffer_size这个参数(connect级别的参数,MySQL5.7,默认值是1048576字节,也就是1MB)的默认值这么小,想着是不是可以调大一点,反正内存动不动几十个GB的,也不在乎这个几MB的。注:笔者尝试修改这个参数的值,在典型的排序(较大的表,排序字段无所索引的条件下 ...
分类:
数据库 时间:
2017-11-10 01:35:48
阅读次数:
5372
HIVE中的分区表是什么,我们先看操作,然后再来体会。 接下来我们创建要给分区 上面语句的效果是在hdfs系统上建立了一个层级目录 -logs -dt=2001-01-01 -country=GB 我们到HDFS上查看,发现建立了下面层级目录 /user/hive/warehouse/logs├── ...
分类:
其他好文 时间:
2017-11-08 00:46:08
阅读次数:
208
犀牛Rhino教程合集37部 教程说明:英文视频教程,部分有中文字幕,大部分有工程文件 教程格式:Flv、MP4格式,大部分高清,确保能看清软件上的文字 发货方式:百度网盘下载链接(教程较多,可转存到自己的网盘里) 教程大小:约62 GB 下载地址 【教程目录】 Rhino 4全面核心视频教程(中文 ...
分类:
其他好文 时间:
2017-11-07 22:22:27
阅读次数:
249
df命令显示磁盘的相关信息查看系统磁盘设备,默认是KB为单位df-h以可读性较高的方式来显示信息(KB、MB、GB、TG)带tmpfs的是临时文件,重启后会消失。/dev/shm是内存,大小是物理内存的一半。df-i查看分区下有多少个inode及inode使用的情况,格式化过程时创建inode。当inode满了..
分类:
其他好文 时间:
2017-11-03 11:17:45
阅读次数:
122
1.几个计算机的概念 为以后写文章考虑,也为巩固自己的知识和一些基本概念,这里要理清楚几个计算机中的概念。 1、计算机存储单位 从小到大依次为位Bit、字节Byte、千字节KB、兆M、千兆GB、TB,相邻单位之间都是1024倍,1024为2的10次方,即: 1Byte = 8bit 1K = 102 ...
分类:
编程语言 时间:
2017-10-31 20:08:34
阅读次数:
171
一、df命令df汇报文件系统磁盘空间使用情况文件系统名称文件系统大小已用空间可用空间已用百分比%挂载点-h显示磁盘单位(根据磁盘大小)Byte字节(1024)KB(1024)MB兆(1024)GB(1024)TB文件系统名称显示tmpfs(表明临时挂在系统,重启机器会消失)/dev/shm内存(如果要往..
分类:
系统相关 时间:
2017-10-30 21:13:48
阅读次数:
245