码迷,mamicode.com
首页 >  
搜索关键字:分布式文件系    ( 1397个结果
分布式系统的架构思路
一、前言 在计算机领域,当单机性能达到瓶颈时,有两种方式可以解决性能问题,一是堆硬件,进一步提升配置,二是分布式,水平扩展。当然,两者都是一样的烧钱。今天聊聊我所理解的分布式系统的架构思路。 二、分布式系统的两种方式 平时接触到的分布式系统有很多种,比如分布式文件系统,分布式数据库,分布式WebSe ...
分类:其他好文   时间:2017-08-21 17:02:54    阅读次数:188
Hadoop介绍-4.Hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker
Hadoop是一个能够对大量数据进行分布式处理的软体框架,实现了Google的MapReduce编程模型和框架,能够把应用程式分割成许多的 小的工作单元,并把这些单元放到任何集群节点上执行。在MapReduce中,一个准备提交执行的应用程式称为「作业(job)」,而从一个作业划分出 得、运行于各个计 ...
分类:其他好文   时间:2017-08-21 00:27:31    阅读次数:158
HDFS知识点总结
学习完Hadoop权威指南有一段时间了,现在再回顾和总结一下HDFS的知识点。 1、HDFS的设计 HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储 ...
分类:其他好文   时间:2017-08-20 10:23:41    阅读次数:186
Linux下分布式文件系统FastDFS安装与配置
1.fastdfs分布式文件系统,对文件进行管理,主要功能包括文件存储、文件同步、文件访问(文件的上传和下载)等,解决了大容量存储和负载均衡的问题。2.fastdfs的两个核心分别是跟踪器(tracker)和存储节点(storage),其中tracker主要的功能是完成调度工作和实现负载均衡,st..
分类:系统相关   时间:2017-08-17 12:49:30    阅读次数:183
架构设计:系统存储(28)——分布式文件系统Ceph(挂载)
(接上文《架构设计:系统存储(27)——分布式文件系统Ceph(安装)》) 3. 连接到Ceph系统 3-1. 连接客户端 完毕Ceph文件系统的创建过程后。就能够让客户端连接过去。Ceph支持两种客户端挂载方式:使用Linux内核支持的mount命令进行的挂载方式。使用用户空间文件系统FUSE(F ...
分类:其他好文   时间:2017-08-16 19:14:36    阅读次数:260
大数据原理架构(学习整理)
前面介绍的废话省略,记录直接的一些知识,方便了解。 Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。 还有一个Hive,很重要!这是一个传统的SQL到MapReduce的映射器,面向传统的数据库工程师。但是 ...
分类:其他好文   时间:2017-08-14 20:15:01    阅读次数:181
《Git权威指南》读书笔记
书中提到Andrew Tridgell,然后说是大名鼎鼎的Samba的作者,这两个名字,一个也没听说过。经查询,是UNIX系列操作系统上的一个软件,如下: Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件,由服务器及客户端程序构成。SMB(Server Messages Bloc ...
分类:其他好文   时间:2017-08-13 11:10:23    阅读次数:180
【Hadoop】HDFS的运行原理
简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失 ...
分类:其他好文   时间:2017-08-10 13:22:28    阅读次数:185
hadoop 大数据 介绍
1.Hadoop是一个大家族,是一个开源的生态系统,是一个分布式运行系统,是基于Java编程语言的架构。不过它最高明的技术还是HDFS和MapReduce,使得它可以分布式处理海量数据。 2.HDFS(分布式文件系统):它与现存的文件系统不同的特性有很多,比如高度容错(即使中途出错,也能继续运行), ...
分类:其他好文   时间:2017-08-09 18:08:40    阅读次数:164
【Spark】RDD机制实现模型
RDD渊源 弹性分布式数据集(RDD)。它是MapReduce模型一种简单的扩展和延伸。RDD为了实现迭代、交互性和流查询等功能,须要保证RDD具备在并行计算阶段之间能够高效地数据共享的功能特性。RDD运用高效的数据共享概念和相似于MapReduce的操作方式,使得全部的计算工作能够有效地运行,并能 ...
分类:其他好文   时间:2017-08-09 15:33:39    阅读次数:165
1397条   上一页 1 ... 61 62 63 64 65 ... 140 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!