我们都知道现在大数据存储用的基本都是 Hdfs ,但在 Hadoop 诞生之前,我们都是如何存储大量数据的呢?这次我们不聊技术架构什么的,而是从技术演化的角度来看看 Hadoop Hdfs。 ...
分类:
其他好文 时间:
2018-12-18 22:45:32
阅读次数:
272
我们先看下$.fn.data()的使用,这个和$.data()是不一样的,前者是和某个jquery对象相关,后者则是全局方法。主要有data()和removeData()这2个实例方法。通过下面的例子和执行结果可以看到:$.fn.data()和$.fn.removeData()跟$.data的使用方 ...
分类:
Web程序 时间:
2018-12-09 22:03:13
阅读次数:
248
一、Redis介绍 Redis是NoSql的一种。 NoSql,全名:Not Only Sql,是一种非关系型数据库,它不能替代关系弄数据库,只是关系型数据库的一个补充,是可以解决高并发、高可用、高扩展、大数据存储等一系列问题而产生的数据库解决方案。 Redis是使用c语言开发的一个高性能键值数据库 ...
分类:
其他好文 时间:
2018-11-24 22:22:20
阅读次数:
184
定义 非关系型分布式列式数据库,支持大数据量查询(百万,上亿行) 概要 数据存储:HDFS 数据计算:MapReduce/Spark 服务协调:Zookeeper 特征 列式存储(列只有一种类型byte[]) 分布式 大数据存储(百万,上亿行; 上万列) 伸缩性,扩展性(列根据业务随意添加) 随机快 ...
分类:
其他好文 时间:
2018-11-23 20:40:22
阅读次数:
148
1、云计算是通过互联网提供全球用户计算力、存储服务,为互联网信息处理提供硬件基础。 2、大数据运用日趋成熟的云计算技术从浩瀚的互联网信息海洋中获得有价值的信息进行信息归纳、检索、整合,为互联网信息处理提供软件基础。 3、他们的关系: 云计算是基础,没有云计算,无法实现大数据存储与计算 大数据是应用, ...
分类:
其他好文 时间:
2018-11-23 16:12:33
阅读次数:
300
Hadoop 其它组成角色介绍--Hbase 在apache的官方网站上,对于Hbase的定义是他是Hadoop的第一个分布式、可扩展的大数据存储的数据库,他的目标是将非常大的表托管到一个集群中进行相应的存储,区别于mysql等数据库,它是一个非关系型数据库,但是不支持sql语句的编写 HBase的 ...
分类:
其他好文 时间:
2018-08-13 10:47:48
阅读次数:
153
一 HBase 的起源 HBase 的原型是 Google 的 BigTable 论文,受到了该论文思想的启发,目前作为 Hadoop 的子项目来开发维护,用于支持结构化的数据存储。 Apache HBase?是Hadoop数据库,这是一个分布式,可扩展的大数据存储。 当您需要随机,实时读取/写入您 ...
分类:
其他好文 时间:
2018-08-12 23:41:25
阅读次数:
231
clickhouse是由俄罗斯Yandex公司开发的列式存储数据库,于2016年开源,clickhouse的定位是快速的数据分析,对于处理海量数据的情况性能非常好,在网上也有很多测试的案例,在大数据的情况下性能远超过其他数据库,并且不依赖于hadoop的生态系统,都是独立使用,在大数据存储业务上还是 ...
分类:
其他好文 时间:
2018-07-20 19:02:13
阅读次数:
746
作者:知乎令孤无忌 前言 知乎在 2016 年已经完成了全量业务的容器化,并在自研容器平台上以原生镜像的方式部署和运行,并在后续陆续实施了 CI、Cron、Kafka、HAProxy、HBase、Twemproxy 等系列核心服务和基础组件的容器化。知乎既是容器技术的重度依赖者,也是容器技术的深度实 ...
分类:
编程语言 时间:
2018-07-06 17:57:46
阅读次数:
213
经常做数据处理的伙伴们肯定会有这样一种体会:最近一周内的数据会被经常使用到,而比如最近几周的数据使用率会有下降,每周仅仅被访问几次;在比如3月以前的数据使用率会大幅下滑,存储的数据可能一个月才被访问几次。 这就产生了一种热和冷数据,对需要频繁访问的数据我们称之为“热”数据,反之我们称之为”冷”数据, ...
分类:
其他好文 时间:
2018-06-15 21:40:56
阅读次数:
155