nosql是泛指对关系型数据库的补充，主要代表是redis，memcache，Hbase，MongoDB 一个电商平台主要包括 1.基本信息 用MySQL储存 2.附加信息 用MongoDB储存 3.图片信息 用分布式文件系统储存 4.关键词 Es，Lucene，solr 5.热点信息（特点 高频， ...
分类：
数据库 时间：
2020-06-27 15:52:03
阅读次数：
68
HDFS分布式文件系统 一、课前准备 1. 安装VMware 15虚拟化软件 2. 安装Centos 7虚拟机3个 3. 安装3节点的hadoop2.X集群 4. 某台虚拟机节点安装IDEA 二、课堂主题 本堂课主要围绕HDFS进行讲解，主要包括三方面 1. 架构原理 2. 核心概念 3. HDFS ...
分类：
其他好文 时间：
2020-06-23 00:55:02
阅读次数：
109
一、先配置好自己的分布式文件系统，参考另一篇文章： https://www.cnblogs.com/vevian/p/13170228.html 二、安装第三方库py3Fdfs pip install py3Fdfs 三、实际应用，参考文档 https://pypi.org/project/py3F ...
分类：
编程语言 时间：
2020-06-21 11:56:32
阅读次数：
108
1、HDFS（Hadoop Distributed File System）是一个分布式文件系统，具有良好的扩展性、容错性以及易用的API。它的核心思想是将文件切分成等大的数据块，以多副本的形式存储到多个节点上。HDFS采用了经典的主从软件架构，其中主服务被称为NameNode，管理文件系统的元信息 ...
分类：
其他好文 时间：
2020-06-18 14:33:17
阅读次数：
67
互联网时代中想要企业更好的发展，利用好从互联网所获取到的大量数据是至关重要的一点，互联网时代又被称为大数据时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。 适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储
分类：
其他好文 时间：
2020-06-16 11:32:17
阅读次数：
411
1.基于Receiver的方式 这种方式使用Receiver来接收kafka中的数据，Receiver是基于kafka的高层Consumer API来实现的。Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处 ...
分类：
其他好文 时间：
2020-06-15 22:58:10
阅读次数：
60
GlusterFS简介GlusterFS(GNUClusterFileSystem)是一种全对称的开源分布式文件系统，所谓全对称是指GlusterFS采用弹性哈希算法，没有中心节点，所有节点全部平等。GlusterFS配置方便，稳定性好，可轻松达到PB级容量，数千个节点。GlusterFS重要概念birck：GlusterFS的基本元素，以节点服务器目录形式展现；volume：多个brick的逻辑
分类：
其他好文 时间：
2020-06-11 09:16:39
阅读次数：
76
1. 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS ...
分类：
其他好文 时间：
2020-06-07 21:50:09
阅读次数：
81
简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput
分类：
其他好文 时间：
2020-06-06 23:16:21
阅读次数：
84
此博客为博主学习总结，学习内容： 在分布式文件系统中创建文件并用 shell 指令查看； 利用 Java API 编程实现判断文件是否存在以及合并两个文件的内容成一个文件 本次博客记录自己操作的详细步骤 感谢厦门大学数据库实验室的实验教程[http://dblab.xmu.edu.cn/blog/2 ...
分类：
其他好文 时间：
2020-06-06 01:01:04
阅读次数：
97
