hadoop生态系统如下图所示: HDFS: HDFS(Hadoop Distributed File System)是分布式文件系统,是针对谷歌开发的分布式文件系统GFS(Google File System)的开源实现,是Hadoop两大核心组成部分之一。 HDFS有NameNode和DataN ...
分类:
其他好文 时间:
2019-01-04 23:33:32
阅读次数:
344
1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构,用户可以在不了解分布式底层细节情况下,开发分布式程序,充分利用集群的威力来进行高速运算与存储,具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下2、HDFS源自谷歌的GFS论文,发表于2013年10月,HDFS是GFS的克隆版,HDFS是Hadoop体系中
分类:
其他好文 时间:
2018-12-29 18:37:56
阅读次数:
220
Hadoop官网 http://hadoop.apache.org/ Hadoop来源 GFS HDFS MapReduce MapReduce BigTable HBase Common The common utilities that support the other Hadoop modu ...
分类:
其他好文 时间:
2018-12-14 01:09:30
阅读次数:
214
Hadoop简介 官方网站: http://hadoop.apache.org/ 中文网站: http://hadoop.apache.org/docs/r1.0.4/cn/ Hadoop设计来源 根据Google的三大论文 GFS(Google File System): Google的分布式文件 ...
分类:
其他好文 时间:
2018-12-11 18:17:27
阅读次数:
220
public class LetterAndNumberCount { public static void main(String[] args) { Count("FJJgjsgfsd543632"); count1("SFsefgdg2354354fsdf"); } public static... ...
分类:
其他好文 时间:
2018-11-26 20:01:09
阅读次数:
384
1、基本概念 为了方便管理和集成jenkins,k8s、harbor、jenkins均使用openLDAP统一认证。 2、部署openLDAP 根据之前的文档,openLDAP使用GFS进行数据持久化。 下载对应的openLDAP文件 创建openLDAP 此处参考的是:https://github ...
分类:
Web程序 时间:
2018-11-23 17:30:45
阅读次数:
634
在评价LoRa技术优劣前,一定要先清楚技术产生的背景。本质上来说,LoRa技术是为了创建长距离通信链接的物理层无线调制方式。许多传统的无线系统使用物理层频移键控(FSK)调制,因为它是十分高效的低功耗方案。LoRa技术基于线性Chirp扩频调制,延续了移频键控调制的低功耗特性,但是大大增加了通信范围。Chirp扩频调制已经在军事和航天通信方面应用了几十年(很重要),因为它具有长距离传输,以及很好的
分类:
其他好文 时间:
2018-11-14 19:01:09
阅读次数:
134
1、准备工作 所有节点安装GFS客户端 如果不是所有节点要部署GFS管理服务,就在需要部署的节点上打上标签 2、创建GFS管理服务容器集群 本文采用容器化方式部署GFS,公司如有GFS集群可直接使用。 GFS已Daemonset的方式进行部署,保证每台需要部署GFS管理服务的Node上都运行一个GF ...
分类:
Web程序 时间:
2018-11-14 16:41:42
阅读次数:
320
准备环境: 1、OS: Centos:7.2x86_64 2、主机 server1: 192.168.30.41 wohaoshuai1 server2: 192.168.30.42 wohaoshuai2 server3: 192.168.30.43 wohaoshuai3 client1: 19 ...
分类:
其他好文 时间:
2018-11-09 18:18:40
阅读次数:
390
hadoop 一, Hadoop 分布式 简介Hadoop 是分布式的系统架构,是 Apache 基金会顶级金牌项目 分布式是什么?学会用大数据的思想来看待和解决问题 思 想很重要 1-1 、Hadoop 的思想之源:来自于 Google 03 年发布 3 大论文, GFS、MapReduce、Bi ...
分类:
其他好文 时间:
2018-11-01 13:34:15
阅读次数:
218