Hadoop伪分布模式配置 Hadoop共有三种部署方式：本地模式，伪分布模式及集群模式；本次安装配置以伪分布模式为主，即在一台服务器上运行Hadoop（如果是分布式模式，则首先要配置Master主节点，其次配置Slave从节点）。以下说明如无特殊说明，默认使用root用户登录主节点，进行以下的一系 ...
分类：
其他好文 时间：
2020-06-28 00:11:54
阅读次数：
74
Hadoop的核心由3个部分组成： HDFS: Hadoop Distributed File System，分布式文件系统，hdfs还可以再细分为NameNode、SecondaryNameNode、DataNode。 YARN: Yet Another Resource Negotiator，资 ...
分类：
其他好文 时间：
2020-06-27 18:39:42
阅读次数：
68
（1）map package cn.itcast.mapreduce; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; imp ...
分类：
其他好文 时间：
2020-06-27 13:13:03
阅读次数：
59
Hadoop是一个能够对海量数据进行分布式处理的系统架构，主要包含3大块：分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层、分布式计算框架MapReduce分布式计算层、资源管理系统YARN(Yet Another Resource Negotiat... ...
分类：
其他好文 时间：
2020-06-27 11:40:19
阅读次数：
93
一．集群规划 Master Slave1 Slave2 Slave3 IP 192.168.2.131 192.168.2.132 192.168.2.133 192.168.2.134 namenode 有 有 无 无 datanode 有 有 有 有 resourcemanager 无 无 有 ...
分类：
其他好文 时间：
2020-06-26 23:52:47
阅读次数：
80
Arctern基于开源大数据生态，构建灵活、强大、高性能的时空数据分析平台，帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern Spark单机可视化安装和简单使用 安装和验证 参考单机安装arctern和在线安装单机spark 一：要注 ...
分类：
其他好文 时间：
2020-06-26 22:01:05
阅读次数：
47
一、流处理 1.1 静态数据处理 在流处理之前，数据通常存储在数据库，文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储，采用 MapReduce 进行数据查询或分析，这就是典型的静态数据处理架构。 1.2 流 ...
分类：
其他好文 时间：
2020-06-26 20:02:43
阅读次数：
49
DDL数据定义 4.1 创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=prop ...
分类：
其他好文 时间：
2020-06-26 16:46:06
阅读次数：
72
一.集群规划 Name Master Slave1 Slave2 IP 192.168.2.98 192.168.2.99 192.168.2.100 Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171 Zookeeper版本 3.4.10 3.4.10 3.4.10 Hadoo ...
分类：
其他好文 时间：
2020-06-26 16:25:56
阅读次数：
66
①编辑core-site.xml，添加内容如下： <!--指定hdfs的nameservice，为整个集群起一个别名,在zookeeper上注册的名称--> <property> <name>fs.defaultFS</name> <value>hdfs://ns</value> </propert ...
分类：
其他好文 时间：
2020-06-26 16:18:37
阅读次数：
53
