1.服务器规划 跟踪服务器1：192.168.33.3 跟踪服务器2：192.168.33.4 存储服务器1：192.168.33.5 存储服务器2：192.168.33.6 存储服务器3：192.168.33.7 存储服务器4：192.168.33.8 2.下载相关软件包 git clone ht ...
分类：
其他好文 时间：
2020-02-12 18:16:40
阅读次数：
63
1、Hadoop概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high ...
分类：
其他好文 时间：
2020-02-10 09:50:14
阅读次数：
58
1. 大数据处理流程 大数据处理的根本目的是从海量 异质 数据中 挖掘知识 ，包含了数据源收集、数据存储管理、数据分析与挖掘以及数据展现与获取等几个 序列进行 的步骤，如图1: 图1 大数据处理流程的整体架构 1.1 数据源 原始数据来源各异，很多数据形式不规整，包含噪音，因此首先需要从原始数据中进 ...
分类：
其他好文 时间：
2020-02-08 17:48:25
阅读次数：
68
2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性，而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS（分布式文件系统） Mapreduce（分布式计算框架） map函数 Reduce （函数） YAR ...
分类：
其他好文 时间：
2020-02-02 21:55:13
阅读次数：
73
FastDFS 研究 什么是分布式文件系统 什么是文件系统 文件系统是负责管理和存储文件的系统软件，它是操作系统和硬件驱动之间的桥梁，操作系统通过文件系统提供的接口去存取文件，用户通过操作系统访问磁盘上的文件。如下图： 什么是分布式文件系统 为什么会有分布文件系统呢？分布式文件系统是面对互联网的需求 ...
分类：
其他好文 时间：
2020-02-02 15:42:01
阅读次数：
308
一、Hbase 简介 hdfs 是分布式文件系统, 只支持在文件层面的增、删除、改（需要把文件下载下来，改完，再上传上去）、查 hbase 是支持海量数据存储的NoSql数据库，基于hdfs的，支持数据的增、删、改、查，支持随机写数据（改指定的某一条数据） hbase 查询数据只能根据rowkey进 ...
分类：
其他好文 时间：
2020-01-30 19:24:15
阅读次数：
78
MongoDB 是一个基于分布式 文件存储的NoSQL数据库 由C++语言编写，运行稳定，性能高 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案 查看官方网站 MongoDB特点 模式自由 :可以把不同结构的文档存储在同一个数据库里 面向集合的存储：适合存储 JSON风格文件的形式 完整的索 ...
分类：
数据库 时间：
2020-01-28 23:13:45
阅读次数：
95
一、FastDFS介绍 简介 FastDFS是一个开源的高性能分布式文件系统（DFS）。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。 FastDFS系统 ...
分类：
其他好文 时间：
2020-01-28 20:45:05
阅读次数：
101
官网介绍 什么是Spark 官网地址：http://spark.apache.org/ Apache Spark? 是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能。 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用 ...
分类：
其他好文 时间：
2020-01-26 19:08:26
阅读次数：
75
上到研究生，搞的是分布式文件系统和缓存系统研究方向，学习的过程中发现数学基础几乎忘光了，越来越发现数学的重要性；亡羊补牢，及时进行补充，重新回忆起来，也希望能有新的收获！本文中，主要是记录我在复习高等数学一些积累和概念索引，主要是对个人有用，如果对您有帮助的话，希望能点击推荐！ 1. 函数与极限 邻 ...
分类：
其他好文 时间：
2020-01-17 20:46:19
阅读次数：
75
