1.用自己的图，描述HDFS体系结构、工作原理与流程。 2.伪分布式安装Hadoop （1）创建hadoop用户 （2）更新apt （3）安装SSH ，配置无密码SSH登录 （4）安装JAVA环境 （5）安装 Hadoop 2.7.1 （6）Hadoop伪分布式配置 （7）运行Hadoop伪分布式实 ...
分类：
其他好文 时间：
2020-10-18 09:54:43
阅读次数：
16
1．集群规划 在 hadoop102、hadoop103 和 hadoop104 三个节点上部署 Zookeeper。 2．解压安装 （1）解压 Zookeeper 安装包到/opt/module/目录下 [atguigu@hadoop102 software]$ tar -zxvf zookeep ...
分类：
其他好文 时间：
2020-07-21 01:06:25
阅读次数：
87
如何实现分布式？ 安装一个scrapy-redis的组件 原生的scrapy是不可以实现分布式爬虫，必须要让scrapy结合着scrapy-redis组件一起实现分布式 为什么原生的scrapy不可以实现分布式？ 调度器不可以被分布式集群共享 管道不可以被分布式集群共享 scrapy-redis组件 ...
分类：
其他好文 时间：
2020-07-05 17:03:11
阅读次数：
62
分布式爬虫 - 概念：我们需要搭建一个分布式的机群，让其对一组资源进行分布联合爬取。 - 作用：提升爬取数据的效率 - 如何实现分布式？ - 安装一个scrapy-redis的组件 爬取到的数据自动存放在redis中 - 原生的scarapy是不可以实现分布式爬虫，必须要让scrapy结合着scra ...
分类：
其他好文 时间：
2020-06-30 22:22:17
阅读次数：
58
Window 10 下的WSL子系统的安装可以参考之前的文章：window10 WSL子系统上设置redis开发环境 有时候，为了在window系统上进行hadoop开发和测试，可以在WSL上安装hadoop的伪分布式系统 因为子系统使用的是ubuntu 18.04，所以下面的安装以此为参考 下面是 ...
伪分布式只需要一台服务器就可以完成，搭建集群之前需要selinux和防火墙 1.安装java并配置环境变量 [root@node1 ~]# tar -xf jdk-8u144-linux-x64.gz -C /usr/ [root@node1 ~]# ln -sv /usr/jdk1.8.0_144 ...
分类：
其他好文 时间：
2020-02-22 15:33:28
阅读次数：
79
1、准备工作 下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/install #安装包 /opt/softwar #软件包 /opt/other #其它 /opt ...
分类：
其他好文 时间：
2020-02-20 20:05:35
阅读次数：
90
在opt目录创建install software test other四个目录 /opt/installed #安装包/opt/software #软件包/opt/other #其他/opt/test #测试 1.上传hadoop yum install lrzsz //安装lrzsz用于上传 cd ...
分类：
其他好文 时间：
2020-02-20 17:02:30
阅读次数：
92
