1.本地文件系统创建一个文件，输入带姓名学号信息 2.查看新建文件所在目录 3.查看新建文件内容 4.将此文件上传到HDFS文件系统上 5.HDFS上查看相应目录 6.HDFS上查看文件内容 7.删除本地1步骤创建的文件 8.将HDFS上的文件下载到本地 9.查看本地文件目录 ...
分类：
其他好文 时间：
2020-10-24 09:48:10
阅读次数：
17
fink slink 后的数据被复写了？？？ 生产环境总会遇到各种各样的莫名其名的数据，一但考虑不周便是车毁人亡啊。 线上sink 流是es , es 的文档id 是自定义的 id+windowSatarTime 设window size = 10min , watermark 最大延迟时间是 10 ...
分类：
其他好文 时间：
2020-10-22 22:23:47
阅读次数：
26
1.用自己的图，描述HDFS体系结构、工作原理与流程。 2.伪分布式安装Hadoop （1）创建hadoop用户 （2）更新apt （3）安装SSH ，配置无密码SSH登录 （4）安装JAVA环境 （5）安装 Hadoop 2.7.1 （6）Hadoop伪分布式配置 （7）运行Hadoop伪分布式实 ...
分类：
其他好文 时间：
2020-10-18 09:54:43
阅读次数：
16
利用HDFS实现ElasticSearch7.2容灾方案 前言 ? Elasticsearch 副本提供了高可靠性，它们让你可以容忍零星的节点丢失而不会中断服务。但是，副本并不提供对灾难性故障的保护。对这种情况，就需要的是对集群真正的备份（在某些东西确实出问题的时候有一个完整的拷贝）。 ? 案例模拟 ...
分类：
其他好文 时间：
2020-10-14 20:34:15
阅读次数：
27
Hadoop HA 集群搭建 Hadoop HA 集群搭建Hadoop 完全分布式环境搭建集群规划集群部署前提Hadoop伪分布式环境搭建配置IP映射安装 Java 与 Hadoop配置 Hadoop配置 MapReduce 与 YARN集群配置配置基本参数配置 SSH 免密登录格式化 HDFS启动 ...
分类：
其他好文 时间：
2020-09-18 03:33:30
阅读次数：
38
一.运行架构 1.架构 基于yarn模式 0) Flink任务提交后，Client向HDFS上传Flink的Jar包和配置 1) 向Yarn ResourceManager提交任务， 2) ResourceManager分配Container资源，Yarn通知NodeManager启动Applica ...
分类：
其他好文 时间：
2020-09-18 03:25:46
阅读次数：
38
HDFS个人数据存储的核心--分布式+共享存储5G时代得到来，大数据存储迅速暴涨，个人存储市场的存量不断扩大，同时增量也在快速增长，预计每年个人产生的数据会有20%的复合增长率，每年的会释放数十亿美元产值的数据存储市场增量。关于接下来的个人数据存储市场发展的方向，不仅仅是一个经济问题而且更加是互联网世界“个人主权”的问题，是隐私、安全、便捷等各种因素的集合，往大了说如果个人数据的问题得不到突破性的
分类：
其他好文 时间：
2020-09-18 02:37:28
阅读次数：
36
5G时代面临数据暴增，HDFS将解决数据存储的燃眉之急随着互联网5G的到来，快速化推动AI人工智能、智能家居、人类生活的智能化、无人驾驶、AR、高清直播等新兴领域的高速发展，5G时代面临数据暴增，如何解决存储难题及如何降低数据的存储成本成为世界关注的焦点，分布式存储无疑是时代最大的风口。在大趋势的驱动之下，从前两年开始分布式存储项目便不断涌现，但真正能够做到落地应用，并规模发展越来越大的项目却寥寥
分类：
其他好文 时间：
2020-09-18 00:28:27
阅读次数：
46
5G时代面临数据暴增，HDFS将解决数据存储的燃眉之急随着互联网5G的到来，快速化推动AI人工智能、智能家居、人类生活的智能化、无人驾驶、AR、高清直播等新兴领域的高速发展，5G时代面临数据暴增，如何解决存储难题及如何降低数据的存储成本成为世界关注的焦点，分布式存储无疑是时代最大的风口。在大趋势的驱动之下，从前两年开始分布式存储项目便不断涌现，但真正能够做到落地应用，并规模发展越来越大的项目却寥寥
分类：
其他好文 时间：
2020-09-17 23:40:50
阅读次数：
33
