php 压缩文件夹 例子来源于php官方文档。 <?php { /** * Add files and sub-directories in a folder to zip file. * @param string $folder * @param ZipArchive $zipFile * @p ...
分类:
Web程序 时间:
2020-07-28 16:55:09
阅读次数:
90
Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案,像Spark SQL、Impala、Presto等等,但就目前来看,在基于Hadoop的大数据分析平台、数据仓库中,Hive仍然是不可替代的角色。尽管它的相应延迟大,尽管它启动MapReduce的时间相当长,但是它太方便、 ...
分类:
其他好文 时间:
2020-07-28 14:21:17
阅读次数:
191
github 仓库当图床(好处是免费,缺点是加载慢需要那啥上网) 直接读取repo地址 https://github.com///blob//images/?raw=true 或者部署到git-pages http://wangguibin.github.io/post-images/1560696 ...
分类:
其他好文 时间:
2020-07-26 23:08:16
阅读次数:
100
1、redis简介 redis是一个远程内存数据库,是一个速度非常快的非关系数据库(也叫NoSQL数据库)。redis不储存表,储存的是key与五种不同类型的值之间的映射。redis可以将存储在内存的键值对数据持久化到硬盘,因此它不仅可以作为辅助数据库,也可以作为主数据库。存储数据可以存两份,数据库 ...
4 开启 Reduce 输出阶段压缩 当 Hive 将 输 出 写 入 到 表 中 时 , 输 出 内 容 同 样 可 以 进 行 压 缩 。 属 性hive.exec.compress.output 控制着这个功能。用户可能需要保持默认设置文件中的默认值 false, 这样默认的输出就是非压缩的纯 ...
分类:
其他好文 时间:
2020-07-24 21:30:31
阅读次数:
69
时间格式转换 日期格式→Unix时间戳 转10位Unix时间戳 数据:2020-07-23 15:01:13 Presto:select to_unixtime(cast('2020-07-23 15:01:13' as timestamp)) Hive:select unix_timestamp( ...
分类:
其他好文 时间:
2020-07-24 16:10:55
阅读次数:
181
SQL SQL(structured query language)是一种领域特定语言(DSL,domain-specific language),用于管理关系型数据库(relational database management system,RDBMS)。 SQL主要有4种类别 DDL Data ...
分类:
数据库 时间:
2020-07-24 15:24:48
阅读次数:
81
自己学习Hadoop时,整理的资料,方便以后查看,希望能帮到大家,有什么问题欢迎大家指出 一、Hadoop是什么?其核心又是什么? Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜 ...
分类:
其他好文 时间:
2020-07-23 22:35:14
阅读次数:
65
1 数据导入 1.1 向表中装载数据(Load) 1.语法 hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1, ...
分类:
其他好文 时间:
2020-07-22 20:27:55
阅读次数:
71
1,hive架构 1)client,客户端 2)Driver:驱动器 3)解析器,编译器,优化器,执行器 4)底层默认使用mr作为数据处理引擎 5)元数据,通常配置mysql来存储,这样支持多个客户端的访问 2,hive和传统数据库的比较 相同之处:都拥有类似的查询语言 不同之处: 1)数据存储位置 ...
分类:
其他好文 时间:
2020-07-21 22:25:52
阅读次数:
76