一 介绍 MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。 在高负载的情况下,添加更多的节点,可以保证服务器性能。 MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB 将数据存储为一个文档,数据结构由键值(key= value)对组成 ...
分类:
数据库 时间:
2020-05-12 16:56:46
阅读次数:
99
1 部署HDFS HDFS的基本操作可以分为集群管理和文件系统操作两种类型: 集群管理:包括Namenodede 的格式化、集群的启动和停止、集群信息查看等。 文件系统:包括对目录、文件和权限等内容的操作。 HDFS中的命令主要在sbin和bin目录下[一般要进行环境变量的设置]: sbin:集群控 ...
分类:
其他好文 时间:
2020-05-12 09:17:05
阅读次数:
81
简介 FastDFS是一个高性能的分布式文件系统。 功能 文件存储、文件同步、文件访问(文件上传、文件下载)。 目标 大容量存储和负载均衡的问题。 依赖 SpirngBoot整合 PS:如果我写的有错,请留言,大家一起进步^_^ ...
分类:
其他好文 时间:
2020-05-10 21:09:55
阅读次数:
62
FastDFS 介绍 FastDFS 是一个 C 语言实现的开源轻量级分布式文件系统,作者余庆(happyfish100),支持 Linux、 FreeBSD、 AID 等 Unix 系统,解决了大数据存储和读写负载均衡等问题,适合存储 4KB~500MB 之间的小文件,如图片网站、短视频网站、文档 ...
分类:
其他好文 时间:
2020-05-10 16:43:20
阅读次数:
70
1,为什么需要单独搭建分布式文 在单系统时代,可以在系统的resource目录下直接建立image,file目录用于存储图片等各种文件,这样做优点用处,直接在项目需要处引用图片就行,但是,缺点也非常明显,代码和文件资源相互杂糅,导致系统臃肿混乱,并且随着静态资源的增多,导致加载速度下降,并且不利于吸 ...
分类:
其他好文 时间:
2020-05-09 23:27:05
阅读次数:
87
Hadoop概述: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。H ...
分类:
其他好文 时间:
2020-05-09 23:07:57
阅读次数:
222
文件系统 HDFS Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统,支持PB级的数据量 ...
分类:
其他好文 时间:
2020-05-05 18:09:27
阅读次数:
70
redis redis数据结构 String hash list set zset(sorted set) 一个redis实例最多提供16个数据库0 15,默认连接0,select i选择i号数据库 redis的应用场景 缓存(数据查询、短连接、新闻内容、商品内容) 聊天室的好友列表 任务队列(秒杀 ...
分类:
其他好文 时间:
2020-05-05 17:44:39
阅读次数:
76
前两天跟大家分享了一篇关于如何利用FastDFS组件来自建分布式文件系统的文章,有兴趣的朋友可以阅读下《 "用asp.net core结合fastdfs打造分布式文件存储系统" 》。通过留言发现大家虽然感兴趣,但是都觉得部署比较麻烦。的确,fastdfs的部署很繁琐,而且也没有官方提供的针对.net ...
分类:
其他好文 时间:
2020-05-05 12:52:10
阅读次数:
357
一、简介 Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 解决的问题: (1)海量数据的存储 [HDFS] (2)海量数据的分析 [MapReduce] (3)资源管理调度 [YARN] 二、hadoop架构 在其核心,Hadoop ...
分类:
其他好文 时间:
2020-05-03 10:26:41
阅读次数:
66