Hadoop 简介: 两大核心:HDFS+MapReduce Hadoop1.0,Hadoop2.0 Linux:基础 shell,sudo Hadoop集群的部署与使用 先访问nameNode 存储DataNode JobTracker TaskTracker 分布式文件系统 伪分布式:就是吧名称 ...
分类:
其他好文 时间:
2020-05-29 17:44:12
阅读次数:
71
在此之前,要安装好jdk和Zookeeper集群 安装位置:和Zookeeper安装的机器一样 1.下载安装 在官网下载(最新版本?)(一般不会出现版本兼容问题): kafka_2.12-2.4.1.tgz 上传到虚拟机 解压安装: tar -zxvf /soft/software/kafka_2. ...
分类:
其他好文 时间:
2020-05-28 23:37:12
阅读次数:
77
说明 <>连带括号内的内容大概率是要进行相应的替换。 直接复制可能会出事,建议先仔细看看。 sql,sh分别表示sql语句和命令行,如果没表明,请甄别一下。 安装配置 sudo apt-get install mysql-server 下载完成后,完成安装时配置 mysql_secure_insta ...
分类:
数据库 时间:
2020-05-28 21:16:59
阅读次数:
86
概览 首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默 ...
分类:
其他好文 时间:
2020-05-28 18:13:32
阅读次数:
84
事情的起因 对于maven项目来说,它可以包含很多子模块,比如你在一个maven项目里做了微服务的开发,很多服务都在一个大项目里(当然,我本人不建议这样设计,建议一个服务是一个项目),这时在jenkins构建时,由于要启动注册中心,配置中心和其它所有服务,在每次部署 时都需要消耗很长的时间,做了很多 ...
分类:
其他好文 时间:
2020-05-27 12:14:50
阅读次数:
143
配置文件:https://www.bilibili.com/video/BV1Tt411E7W3 殇雪打包好的VSCode[里面附带C++配置文件]https://pan.baidu.com/s/1KLL3vxQ08C2xNMGzqUHRdA提取码zyjm Mingw https://pan.bai ...
分类:
其他好文 时间:
2020-05-27 11:59:00
阅读次数:
87
一、 设计思路 分布式文件系统 二、设计目标 三 HDFS架构图 四、HDFS元数据管理 五、HDFS元数据合并 6、HDFS上传文件 7、HDFS文件读取 注意 八、JAVA API ...
分类:
编程语言 时间:
2020-05-25 17:28:44
阅读次数:
62
一、工具 https://developer.android.google.cn/studio?hl=zh-cn Android Studio ...
分类:
移动开发 时间:
2020-05-25 12:04:56
阅读次数:
82
ProxmoxVE是什么?ProxmoxVE是一个完整的企业虚拟化开源平台。借助内置的Web界面,您可以轻松管理VM和容器,软件定义的存储和网络,高可用性集群以及单个解决方案上的多个开箱即用工具。ProxmoxVE最大优势在于安装使用的方便以及web管理界面的丰富,还可以相对比较简单的实现桌面云。从ProxmoxVE5.x版本开始,官方整合了分布式文件系统Ceph,并对其进行了改进。这样,就和Op
分类:
其他好文 时间:
2020-05-25 09:38:28
阅读次数:
99