1.Hadoop的整体框架 Hadoop是由许多元素构成的，最核心的是HDFS（分布式文件系统），它存储了Hadoop集群中所有DataNode文件，HDFS的上一层是MapReduce引擎，MapReduce是一种计算模型，用以进行大数据量的计算。 HDFS HDFS是Hadoop项目的核心子项目 ...
分类：
其他好文 时间：
2020-04-27 13:27:50
阅读次数：
70
一．背景工作中接触到需要采集并管理大量图片的需求，本来是用的FastDFS，但是发现实际情况是在项目实施时难以找到linux服务器去安装FastDFS，所以经过调研，选择了可以在windows服务器上安装部署的Go-FastDFS文件服务器二．Go-FastDFS简介go-fastdfs是一个基于http协议的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，
分类：
编程语言 时间：
2020-04-26 17:10:44
阅读次数：
191
旨在为WEB应用提供可扩展、高性能的分布式数据存储解决方案； 分布式文件系统通过计算机网络与节点相连。服务端默认端口为27017；推荐运行在64位平台，在32位模式运行时支持的最大文件尺寸为2GB； 类似于面向对象的查询语言，可以实现类似于关系数据库的单表查询的绝大部分功能，而且还支持对数据建立索引 ...
分类：
数据库 时间：
2020-04-26 13:49:29
阅读次数：
105
前提补充 Q：为什么要三台服务器 A： 1.当数据量超过我们单台服务器的存储能力 2.当我们的运算量大于了单台服务器的运算量时（运算能力） 解决存储能力 Q：服务器间的管理，解决海量数据的存储 A：分布式文件系统HDFS 解决运算能力 Q：解决资源调度：教练让去打比赛 A：任务资源调度的集群YARN ...
分类：
其他好文 时间：
2020-04-19 12:28:14
阅读次数：
72
一、什么是FastDFS？FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：文件大小为4KB-500MB）为载体的在线服务，如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供了：网盘，社区，广告和应用下载等业务的存储服务。FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux、FreeBSD等UNIX系
分类：
其他好文 时间：
2020-04-15 15:16:43
阅读次数：
65
1. 准备4台虚拟机 ceph 192.168.66.93 管理osd，mon节点 ceph-node1 192.168.66.94 osd节点 ceph-node2 192.168.66.95 osd节点 jenkins 192.168.66.88 客户端 2. 在ceph上新增一块磁盘 dd i ...
分类：
其他好文 时间：
2020-04-14 17:09:47
阅读次数：
117
利用Docker来搭建分布式文件系统FastDfs 原文：https://v3u.cn/a_id_78 对于文件存储来说，一般情况下简单的处理就是在Django配置文件中配置存储目录，按照规则对文件进行上传或者下载。 实际上，当文件较少的时候，Django是可以应付的过来的。但当文件以海量形式出现的 ...
分类：
其他好文 时间：
2020-04-13 13:59:25
阅读次数：
66
HDFS：Hadoop Distributes File System HDFS 1.0 Namenode namenode又称名称节点，是负责管理分布式文件系统的命名空间（Namespace）,保存了两个核心的数据结构，即Fslmage和Editlog.你可以把它理解为大管家，它不负责存储具体的数 ...
分类：
其他好文 时间：
2020-04-13 00:21:47
阅读次数：
241
免费高速云备份云备份是通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储备份和业务访问的功能服务。提到数据云备份，首先考虑的是数据安全。云备份一般是内部进行备份！比如学校，医院，政府部门，企事业单位，通过内部资源整合，通过备份软件来建立自己的私有云！建立私有云要考虑到以下几点：首先是整合硬件。“服务器的数量天天都在变化
分类：
其他好文 时间：
2020-04-10 00:28:30
阅读次数：
86
1。hadoop生态系统 2.Hadoop分布式文件系统 2.1 HDFS的设计 2.2 HDFS的概念 数据块 namenode和datanode HDFS的高可用性 2.3命令行接口 2.4hadoop文件系统 2.5通过Flume和sqoop导入数据 ...
分类：
其他好文 时间：
2020-04-09 15:30:24
阅读次数：
92
