Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点 ...
分类：
其他好文 时间：
2019-05-26 17:36:54
阅读次数：
140
产生背景 自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后， 好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大 ...
分类：
其他好文 时间：
2019-05-24 12:42:09
阅读次数：
102
hadoop相关子系统： Apache Hadoop是Apache的一个分布式计算开源框架，提供了一个分布式文件系统子项目（HDFS）和支持MapReduce分布式计算的软件架构 那什么是MapReduce呢？ 举例来说，统计一系列的文档中的词汇。文档数量规模很大，有1000万个文档，英文单词的总数 ...
分类：
其他好文 时间：
2019-05-22 11:02:14
阅读次数：
90
SparkSql 是架构在 Spark 计算框架之上的分布式 Sql 引擎，使用 DataFrame 和 DataSet 承载结构化和半结构化数据来实现数据复杂查询处理，提供的 DSL可以直接使用 scala 语言完成 Sql 查询，同时也使用? thriftserver 提供服务化的 Sql 查询功能。
分类：
数据库 时间：
2019-05-17 09:32:42
阅读次数：
200
一、概述Ceph是可靠的、可扩展的、统一的、开源分布式的存储系统。可以同时提供对象存RADOSGW（Reliable、Autonomic、Distributed、ObjectStorageGateway）、块存储RBD（RadosBlockDevice）、文件系统存储CephFS（CephFilesystem）3种功能。 Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自
分类：
其他好文 时间：
2019-05-14 00:43:07
阅读次数：
124
1、HDFS的设计 HDFS是什么：HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在：要求低时间延迟数据访问的应用，存储大量的小文件 ...
分类：
其他好文 时间：
2019-05-11 09:25:26
阅读次数：
101
HadoopHDFSMapReduce Hadoop是Apache基金会所开发的分布式系统基础架构。最核心的设计就是：HDFS和MapReduce。 HDFS为海量的数据提供了存储 MapReduce则为海量的数据提供了计算 HDFS 分布式文件系统（Hadoop Distributed File ...
分类：
其他好文 时间：
2019-05-08 00:31:43
阅读次数：
132
https://www.cnblogs.com/kevingrace/p/8471827.html 一、分布式文件系统介绍分布式文件系统：Distributed file system, DFS，又叫做网络文件系统：Network File System。一种允许文件通过网络在多台主机上分享的文件系 ...
分类：
系统相关 时间：
2019-05-03 11:18:31
阅读次数：
193
1大数据解决的问题？ 海量数据的存储：hadoop->分布式文件系统HDFS 海量数据的计算：hadoop->分布式计算框架MapReduce 2什么是MapReduce? 分布式程序的编程框架，java->ssh ssm ，目的：简化开发！ 是基于hadoop的数据分析应用的核心框架。 mapre ...
分类：
其他好文 时间：
2019-05-02 09:39:18
阅读次数：
137
运维使用docker部署好之后FastDFS分布式文件系统之后，提供给我接口如下： 我们只需要在配置文件中进行配置即可，然后利用客户端提供的接口通过简单的代码就可以将文件上传到分布式文件系统中 至于内部实现机制，可以参考我的另外一篇博客：分布式文件系统Fastdfs原理及部署 再次提醒在安装客户端可 ...
分类：
Web程序 时间：
2019-04-30 12:26:30
阅读次数：
225
