Hadoop的HDFS操作命令 HDFS是存取数据的分布式文件系统，那么对HDFS的操作就是对文件系统的操作，比如文件的创建、修改、删除；文件夹的创建、修改、删除。Hadoop作者认为大家对linux文件系统的命令很熟悉，于是借鉴了linux文件系统的命令来作为HDFS的操作命令。 （1）查看帮助 ...
分类：
其他好文 时间：
2020-02-21 20:18:33
阅读次数：
125
1.摘要 如果要将企业应用系统按照技术或数据按时间进行划分的话，那么可以以2008年Google推出的分布式文件系统DFS为一个划分标准，2008年之前，由于通信信息技术的弊端，还属于PC互联网时代，整个互联网产生的数据和现在相比只是量级分之一，所以基本上是传统的企业应用系统，将数据存储在RDBMS ...
分类：
其他好文 时间：
2020-02-17 01:13:15
阅读次数：
90
1.服务器规划 跟踪服务器1：192.168.33.3 跟踪服务器2：192.168.33.4 存储服务器1：192.168.33.5 存储服务器2：192.168.33.6 存储服务器3：192.168.33.7 存储服务器4：192.168.33.8 2.下载相关软件包 git clone ht ...
分类：
其他好文 时间：
2020-02-12 18:16:40
阅读次数：
63
1、Hadoop概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high ...
分类：
其他好文 时间：
2020-02-10 09:50:14
阅读次数：
58
2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性，而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS（分布式文件系统） Mapreduce（分布式计算框架） map函数 Reduce （函数） YAR ...
分类：
其他好文 时间：
2020-02-02 21:55:13
阅读次数：
73
FastDFS 研究 什么是分布式文件系统 什么是文件系统 文件系统是负责管理和存储文件的系统软件，它是操作系统和硬件驱动之间的桥梁，操作系统通过文件系统提供的接口去存取文件，用户通过操作系统访问磁盘上的文件。如下图： 什么是分布式文件系统 为什么会有分布文件系统呢？分布式文件系统是面对互联网的需求 ...
分类：
其他好文 时间：
2020-02-02 15:42:01
阅读次数：
308
一、Hbase 简介 hdfs 是分布式文件系统, 只支持在文件层面的增、删除、改（需要把文件下载下来，改完，再上传上去）、查 hbase 是支持海量数据存储的NoSql数据库，基于hdfs的，支持数据的增、删、改、查，支持随机写数据（改指定的某一条数据） hbase 查询数据只能根据rowkey进 ...
分类：
其他好文 时间：
2020-01-30 19:24:15
阅读次数：
78
一、FastDFS介绍 简介 FastDFS是一个开源的高性能分布式文件系统（DFS）。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。 FastDFS系统 ...
分类：
其他好文 时间：
2020-01-28 20:45:05
阅读次数：
101
官网介绍 什么是Spark 官网地址：http://spark.apache.org/ Apache Spark? 是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能。 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用 ...
分类：
其他好文 时间：
2020-01-26 19:08:26
阅读次数：
75
上到研究生，搞的是分布式文件系统和缓存系统研究方向，学习的过程中发现数学基础几乎忘光了，越来越发现数学的重要性；亡羊补牢，及时进行补充，重新回忆起来，也希望能有新的收获！本文中，主要是记录我在复习高等数学一些积累和概念索引，主要是对个人有用，如果对您有帮助的话，希望能点击推荐！ 1. 函数与极限 邻 ...
分类：
其他好文 时间：
2020-01-17 20:46:19
阅读次数：
75
