有句话说的好“大数据胜于好算法” 硬盘存储容量在不断提升的同时，访问速度（硬盘数据读取速度）却没有同步增长；1990年，访问全盘需要5分钟，20年后，需要2.5小时 不同的业务大数据，存储在一套HDFS上，但常常分析工作是在不同时间点进行的，所以彼此之间干扰并不太大 MP每次查询数据需要处理整个数据... ...
分类：
其他好文 时间：
2018-04-06 23:44:45
阅读次数：
209
1 Redis介绍 1.1 什么是NoSql 为了解决高并发、高可扩展、高可用、大数据存储问题而产生的数据库解决方案，就是NoSql数据库。 NoSQL，泛指非关系型的数据库，NoSQL即Not-Only SQL，它可以作为关系型数据库的良好补充。 1.2 Nosql数据库分类 n 键值(Key-V ...
分类：
其他好文 时间：
2018-04-06 15:18:09
阅读次数：
167
1.1 什么是 NoSql 为了解决高并发、高可扩展（集群）、高可用（不能宕机）、大数据存储问题而产生的数据库解决方案，就是 NoSql 数据库。 NoSql ： 全称 not only sql ，非关系型数据库。可以作为关系型数据库的一个很好的补充。不能替代。 1.2 NoSql 数据库分类 ┣? ...
分类：
其他好文 时间：
2018-03-28 14:10:19
阅读次数：
193
Mysql的单张表的最大数据存储量尚没有定论，一般情况下mysql单表记录超过千万以后性能会变得很差。因此，总结一些相关的Mysql千万级大表的优化策略。 1.优化sql以及索引 1.1优化sql 1、有索引但未被用到的情况（不建议） (1)避免like的参数以通配符开头时 尽量避免Like的参数以 ...
分类：
数据库 时间：
2018-03-16 13:35:02
阅读次数：
584
现代信息系统应该是避不开大数据处理的。作为一个通用的系统集成工具也必须具备大数据存储和读取能力。cassandra是一种分布式的数据库，具备了分布式数据库高可用性（high-availability）特性，对于一个实时大型分布式集成系统来说是核心支柱。与传统的关系数据库对比，cassandra从数据 ...
分类：
数据库 时间：
2018-02-22 10:51:24
阅读次数：
245
CarbonData是一种高性能大数据存储方案，支持快速过滤查找和即席OLAP分析，已在20+企业生产环境上部署应用，其中最大的单一集群数据规模达到几万亿。针对当前大数据领域分析场景需求各异而导致的存储冗余问题，业务驱动下的数据分析灵活性要求越来越高，CarbonData提供了一种新的融合数据存储方 ...
分类：
Web程序 时间：
2018-02-09 15:34:41
阅读次数：
1179
2.Java中的常量 十六进制整型常量：以十六进制表示时，需以0x或0X开头，如0xff,0X9A。 八进制整型常量：八进制必须以0开头，如0123，034。 长整型：长整型必须以L作结尾，如9L,342L。 byte：8位，最大存储数据量是255，存放的数据范围是-128~127之间。 short ...
分类：
编程语言 时间：
2018-02-05 18:52:14
阅读次数：
193
Pandas系列之入门篇——HDF5 简介 HDF5（层次性数据格式）作用于大数据存储，其高效的压缩方式节约了不少硬盘空间，同时也给查询效率带来了一定的影响，压缩效率越高，查询效率越低。pandas v0.20.2（含）之后的版本默认选用blosc压缩，跟bzip2相比，其间做了一个小测试，1000 ...
分类：
其他好文 时间：
2018-01-22 01:14:55
阅读次数：
157
Pandas系列之入门篇 简介 pandas 是 python用来数据清洗、分析的包，可以使用类sql的语法方便的进行数据关联、查询，属于内存计算范畴， 效率远远高于硬盘计算的数据库存储。另外pandas还提供了大数据存储的API——HDFStore，来对接HDF5。 安装 1. pandas 利用 ...
分类：
其他好文 时间：
2018-01-16 18:20:46
阅读次数：
279
Redis NoSql数据库 1. 什么是NoSql 为了解决高并发、高可用、高可扩展，大数据存储等一系列问题而产生的数据库解决方案，就是NoSql。 NoSql，叫非关系型数据库，它的全名Not only sql。它不能替代关系型数据库，只能作为关系型数据库的一个良好补充。 Redis是使用c语言 ...
分类：
其他好文 时间：
2017-11-11 00:30:48
阅读次数：
240
