本文来自网易云社区 作者：闽涛 背景 Cloudera在2016年发布了新型的分布式存储系统——kudu，kudu目前也是apache下面的开源项目。Hadoop生态圈中的技术繁多，HDFS作为底层数据存储的地位一直很牢固。而HBase作为Google BigTable的开源产品，一直也是Hadoo ...
分类：
其他好文 时间：
2018-09-14 13:55:54
阅读次数：
155
本文来自网易云社区 作者：闽涛 背景 Cloudera在2016年发布了新型的分布式存储系统——kudu，kudu目前也是apache下面的开源项目。Hadoop生态圈中的技术繁多，HDFS作为底层数据存储的地位一直很牢固。而HBase作为Google BigTable的开源产品，一直也是Hadoo ...
分类：
其他好文 时间：
2018-09-14 13:53:55
阅读次数：
150
问题导读： Hadoop数据采集框架都有哪些？ Hadoop数据采集框架异同及适用场景？ Hadoop提供了一个高度容错的分布式存储系统，帮助我们实现集中式的数据分析和数据共享。在日常应用中我们比如要将各种数据采集到HDFS存储服务中去，说到将数据采集到HDFS，我们熟知的框架包括： Apache ...
分类：
其他好文 时间：
2018-09-13 23:14:12
阅读次数：
459
什么是redis？ Redis是一个高性能的key-value数据库。key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。key value 根据关键字取值，key是关键字，value是值。 Redis的三个主要特点： 1、Red ...
分类：
系统相关 时间：
2018-09-13 18:31:25
阅读次数：
232
项目上传和下载图片流程 django admin的ImageField默认会把文件存到settings.py配置的MEDIA_ROOT目录下，所以存储图片的数量受限于django服务器的硬盘大小。为了支持海量的图片存储， 更易于拓展存储空间，使用FastDFS分布式存储系统。如果用户上传的文件重复( ...
分类：
其他好文 时间：
2018-09-10 16:16:06
阅读次数：
244
CAP理论就是说在分布式存储系统中，最多只能实现上面的两点。而由于当前的网络硬件肯定会出现延迟丢包等问题，所以 分区容忍性是我们必须需要实现的。 所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。 C:强一致性 A：高可用性 P：分布式容忍性 CA 传统Oracle数据库 ...
分类：
其他好文 时间：
2018-09-05 17:45:54
阅读次数：
139
分布式存储系统架构设计，应该遵循什么样的原则？分布式存储系统，本质是将数据分散存储在多台独立的x86设备上。传统的网络存储系统通常采用集中的存储服务器存放数据，存储服务器很容易成为系统性能的瓶颈，也容易成为可靠性和安全性的瓶颈。分布式存储系统采用可扩展的系统结构，利用多台x86服务器分担存储负荷，利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存储读写效率，还易于扩展。传统架构VS分布
分类：
其他好文 时间：
2018-08-31 17:10:49
阅读次数：
143
随着互联网、云计算及大数据等信息技术的发展，越来越多的应用依赖于对海量数据的存储和处理，如智能监控、电子商务、地理信息等，这些应用都需要对海量图片的存储和检索。由于图片大多是小文件(80%大小在数MB以内)，以GFS、HDFS为代表的适用于流式访问大文件的分布式存储系统，若直接用来存储图片，由于元数 ...
分类：
其他好文 时间：
2018-08-17 19:08:00
阅读次数：
239
开始我打算更新“部署mimic版本的Ceph分布式存储系统”，但是发觉不好布局，所以新续写了这篇文章。如下配置、部署依然是在ceph01节点完成，部署的新节点为ceph04。1.配置ansible# cat /etc/ansible/hosts | grep -v ^# | gr
分类：
其他好文 时间：
2018-08-14 14:33:51
阅读次数：
435
一、HDFS基础架构 1、HDFS特点：水平扩展、高容错性、廉价硬件、开源生态系统 2、Hadoop生态圈 1）、分布式存储系统（HDFS），2）、资源管理框架（YARN），3）、批处理框架（MapReduce、Pig），4）、数据仓库（Hive），5）、NoSQL系统（HBase、Drill），6 ...
分类：
其他好文 时间：
2018-08-09 13:58:35
阅读次数：
454
