1、K8S部署架构图展示2、安装部署准备工作准备5台2c/2g/50g虚机，使用10.4.7.0/24网络预装CentOS7.6系统，做好基础优化安部部署bind9，部署自建DNS系统准备自签证书环境安装部署Docker环境，部署Harbor私有仓库3、软件分配4网络配置以7-11机为例，在11、12、21、22、200五台机上做初始化操作hostnamectlset-hostnamehdss7-
分类：
其他好文 时间：
2020-09-21 11:49:31
阅读次数：
43
在flink集群中提交了一个job报错如下大概看出是没有DataNode，这让人很奇怪 通过jps命令在主节点看到了namenode，但是在DataNode端执行jps没有DataNode [root@devopes ~]# jps 5347 TaskManagerRunner 18788 Name ...
分类：
其他好文 时间：
2020-09-18 17:26:11
阅读次数：
71
Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统，吞吐速率非常快，可以作为Hadoop的日志收集。Kafka是一个完全的分布式系统，这一点依赖于Zookeeper的分布式实现。 本文为新手准备，从Kafka的一些术语概念方面去认识Kafka。 Broker Ka ...
分类：
其他好文 时间：
2020-09-18 17:19:41
阅读次数：
37
Hadoop HA 集群搭建 Hadoop HA 集群搭建Hadoop 完全分布式环境搭建集群规划集群部署前提Hadoop伪分布式环境搭建配置IP映射安装 Java 与 Hadoop配置 Hadoop配置 MapReduce 与 YARN集群配置配置基本参数配置 SSH 免密登录格式化 HDFS启动 ...
分类：
其他好文 时间：
2020-09-18 03:33:30
阅读次数：
38
一、大数据 大数据的特性 （一）大体量，可从数百TB，PB，EB （二）多样性，大数据包括各种格式和形态的数据 （三）时效性，很多大数据需要在一定的时间限度下得到及时处理 （四）准确性，处理的结果一定要准备性 （五）大价值，大数据包含很多的深度的价值，大数据分析挖掘和利用将带来巨大的商业价值 二、H ...
分类：
其他好文 时间：
2020-09-18 02:20:12
阅读次数：
35
#1.安装Eclipse EE版本 #2.配置Eclipse 配置Eclipse 将插件hadoop-eclipse-plugin-2.6.0jar拷贝到Eclipse安装目录下的dropins目录 启动Eclipse,增加Map/Reduce功能区 增加Hadoop集群的连接 导入MapReduc ...
分类：
系统相关 时间：
2020-09-18 01:39:40
阅读次数：
46
mysql数据库建模过程：1：分析客户的业务和数据处理要求 2：设计数据库的E-R模型图 3：应用三大范式审核数据库结构 4：代码编写，软件测试，安装部署。 设计数据库的步骤：1：标识实体（实体用矩形表示）2：表识每个实体的属性（属性用椭圆形表示）3：标识实体之间的关系（用菱形表示） E-R图设计（ ...
分类：
数据库 时间：
2020-09-18 01:20:39
阅读次数：
35
hive是基于Hadoop的一个数据仓库工具，用来进行数据的ETL，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。HiveSQL是一种类SQL语言，与关系型数据库所支持的SQL语法存在微小的差异。本文对比MySQL和Hive所支持的SQL语法，发现相同的SQL语句在Hive和MySQL中输出结果的会有所不同
分类：
数据库 时间：
2020-09-17 23:41:17
阅读次数：
49
安装部署 1、安装包应该从官网下载，确保发布的安全性。下载后使用md5/PGP校验完整性。这里使用sha512sum验证，因为gpg那个没找到.asc文件下载地址 [root@iZzm446eh1ux98Z packages]# curl https://downloads.apache.org/t ...
分类：
其他好文 时间：
2020-09-17 23:10:39
阅读次数：
29
