HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据, ...
分类:
其他好文 时间:
2017-03-14 22:32:55
阅读次数:
291
Parquet是Twitter贡献给开源社区的一个列数据存储格式,采用和Dremel相同的文件存储算法,支持树形结构存储和基于列的访问。Cloudera Impala也将使用Parquet作为底层的存储格式。在很多大数据的应用场景下面,比如电信行业,具有一定规则的数据,字段很多,但是每次查询仅仅针对 ...
分类:
其他好文 时间:
2017-03-14 13:14:35
阅读次数:
368
如何处理SQLServer事务复制中的大事务操作事务复制的工作机制事务复制是由SQLServer快照代理、日志读取器代理和分发代理实现的。快照代理准备快照文件(其中包含了已发布表和数据库对象的架构和数据),然后将这些文件存储在快照文件夹中,并在分发服务器中的分发数据库中记录..
分类:
数据库 时间:
2017-03-10 19:28:46
阅读次数:
231
mysql是数据库文件(存储数据);1.下载(猿课论坛链接或者官网)合适版本(官网5.7,我们学习用5.1);免编译的二进制包。源码包就需要编译器编译成能够支持的二进制文件。注意下载的时候和系统位数(32位/64位)的区分[root@aminglinux~]#cd/usr/local/src/[root@aminglinuxs..
分类:
数据库 时间:
2017-03-10 11:09:59
阅读次数:
467
1、存储结构MyISAM:每个MyISAM在磁盘上存储成三个文件。第一个文件的名字以表的名字开始,扩展名指出文件类型。.frm文件存储表定义。数据文件的扩展名为.MYD(MYData)。索引文件的扩展名是.MYI(MYIndex)。InnoDB:所有的表都保存在同一个数据文件中(也可能是多个文件,或者是..
分类:
数据库 时间:
2017-03-09 16:02:57
阅读次数:
208
最近开研究kafka,下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力. 1、持久性 kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任何OS下 ...
分类:
其他好文 时间:
2017-03-08 14:03:48
阅读次数:
203
一、重点!重点!重点! 1、设置数据任务task(从路径中获取文件的长度,再判断是否下载过,来请求url,设置Range,将Range添加到请求头中)。 2、写入文件(存储下载文件,通过路径设置输出流,并打开,将之前文件取出来,重新设置长度(头文件长度+已下载文件长度),并写入文件)。 3、写入数据 ...
分类:
其他好文 时间:
2017-03-07 22:37:44
阅读次数:
201
1、开发中发现,当两个文件名只有大小写的区别,其他都一样的情况,android中会默认是同一个文件。 比如,你在同一个文件夹下有一个文件 aa.txt 重新创建一个文件命名为AA.txt android系统会认为这俩是同一个文件,从而出现覆盖的问题。 经测试发现,windows、Mac osx 系统 ...
分类:
移动开发 时间:
2017-03-06 18:28:38
阅读次数:
244
MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。 在高负载的情况下,添加更多的节点,可以保证服务器性能。 MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB 将数据存储为一个文档,数据结构由键值(key=>value)对组成。Mong ...
分类:
数据库 时间:
2017-03-05 22:52:36
阅读次数:
316
session.inc.php文件:定义session的文件存储,session解决方案,就是要提供在php脚本中定义全局变量的方法,使得这个全局变量在同一个session中对于所有的php脚本都有效,我们都知道,session不是一个简单的时间概念,一个session中还包括了特定的用户和服务器, ...
分类:
Web程序 时间:
2017-03-03 01:02:23
阅读次数:
174