一、Parquet的组成 Parquet仅仅是一种存储格式，它是语言、平台无关的，并且不需要和任何一种数据处理框架绑定，目前能够和Parquet适配的组件包括下面这些，可以看出基本上通常使用的查询引擎和计算框架都已适配，并且可以很方便的将其它序列化工具生成的数据转换成Parquet格式。 查询引擎: ...
分类：
其他好文 时间：
2017-10-17 15:28:28
阅读次数：
342
一、ORC File文件结构 ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是一个 ...
分类：
其他好文 时间：
2017-10-16 19:43:52
阅读次数：
402
常见的分布式文件系统有，GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。
分类：
其他好文 时间：
2017-10-16 12:17:37
阅读次数：
165
文章来源： 数据库索引及基本优化入门 http://www.cnblogs.com/anding/p/3254674.html 1.页： 数据库文件存储是以页为存储单元的，一个页是8K（8192Byte），一个页就可以存放N行数据。我们常用的页类型就是数据页和索引页。一个页中除了存放基本数据之外还需 ...
分类：
数据库 时间：
2017-10-16 11:14:12
阅读次数：
198
开发环境：vs2017 版本：15.3.5 项目环境：.net framework 4.6.1 模板asp.net core 2.0 Web应用程序（模型视图控制器） 身份验证：个人用户账号 存储应用内的用户帐户 因为本人并不涉及开发一些中、大规模的应用，所以习惯使用本地数据库，而不是数据库服务，为 ...
分类：
Web程序 时间：
2017-10-15 14:56:55
阅读次数：
196
SQLite数据库 SQLite是类似于MySQL和Postgresql的开源关系型数据库。不同于其他数据库的是，SQLite使用单个文件存储数据，使用SQLite库读取数据。Android标准库包含SQLite库以及配套的一些Java辅助类。 创建数据库前，首先要清楚存储什么样的数据。Crimin ...
分类：
其他好文 时间：
2017-10-15 00:33:43
阅读次数：
278
TFS是淘宝开源的一套高性能文件存储系统，在阿里广泛应用，除了自建文件系统，在应用上云的大趋势下，还可以使用阿里云的对象存储OSS服务：阿里云对象存储OSS首页 一、关于TFS TFS（Taobao File System）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量 ...
分类：
Web程序 时间：
2017-10-13 19:15:09
阅读次数：
318
项目经常用到json，xml，properties，文本文件等，作为配置文件。用来存储连接字符串或其他配置参数等。 本文记录properties。 properties文件，存储格式 键=值。例如新建一个 config.properties文件： 1 2 3 4 5 6 7 8 ####这里是con ...
分类：
编程语言 时间：
2017-10-11 21:05:50
阅读次数：
272
为降低云服务器负载和成本，一般需要将网站静态资源、图片、音视频、日志、下载资源等海量文件存储在更低单价的存储类型上，并配合CDN、图片处理、媒体转码、数据处理等服务，给客户提供更好的体验和更多服务。本课程主要讲解海量、安全、低成本、高可靠的云存储服务——对象存储的常用操作、文件上传下载和安全设置，带 ...
分类：
其他好文 时间：
2017-10-11 12:58:24
阅读次数：
221
一、 1、基于分布式文件存储 2、高负载情况下添加更多节点，可以保证服务器性能 3、将数据存储为一个文档 二、比较 1、稳定性 2、索引，索引放在内存中，能够提升随机读写的性能。如果索引不能完全放在内存，一旦出现随机读写比较高的时候，就会频繁地进行磁盘交换，MongoDB的性能就会急剧下降 3、占用 ...
分类：
数据库 时间：
2017-10-09 18:30:28
阅读次数：
216
