Hadoop权威指南 第四版 大数据越来越热。Hadoop技术是大数据技术的基础。 掌握了大数据技术，就意味着可以轻松找到高薪工作。 人工智能、机器学习都是基于大数据。 There are new chapters covering YARN (Chapter 4), Parquet (Chapte ...
分类：
其他好文 时间：
2020-06-13 10:35:42
阅读次数：
59
Hadoop权威指南 第四版 大数据越来越热。Hadoop技术是大数据技术的基础。 掌握了大数据技术，就意味着可以轻松找到高薪工作。 人工智能、机器学习都是基于大数据。 There are new chapters covering YARN (Chapter 4), Parquet (Chapte ...
分类：
其他好文 时间：
2020-06-13 10:25:14
阅读次数：
618
一、hadoop安装 1. 修改主机名和 IP 地址映射 sudo vi /etc/hostname #修改主机名（如，删掉原有内容，命名为 hadoop） ping hadoop #ping 通证明成功 2. 安装java sudo apt install openjdk-8-jdk-headle ...
分类：
其他好文 时间：
2020-06-11 21:50:24
阅读次数：
78
本地scala version为2.11.8，spark为2.4.0版本 于是修改dr-elephant/build.sbt scalaVersion := "2.11.8" 修改dr-elephant/compile.conf hadoop_version=2.8.4 spark_version= ...
分类：
其他好文 时间：
2020-06-11 13:42:28
阅读次数：
100
python是一门非常高级的编程语言，同时python作为人工智能的重要编程语言，无论发展前景还是就业方向，都可以说是无可限量。
分类：
编程语言 时间：
2020-06-11 00:42:34
阅读次数：
104
实验环境 虚拟机数量：3 系统版本：Centos 7.5 Hadoop版本：Apache Hadoop 2.7.3 Zookeeper版本：Apache zookeeper-3.4.10. HBase版本：Apache HBase 1.2.6 1.启动Hadoop集群 在master启动Hadoop ...
分类：
其他好文 时间：
2020-06-10 11:05:53
阅读次数：
63
jar包：是用java写的一些类 用的话直接用就不用再写了 。直接用jar包方便许多。 maven：是用jar包的时候只用下载一次就行了 ，下次再用就不用再下载一遍了。 编程似乎在不断完善 ，没有人知道未来是啥。 我在 写spark：是hadoop的完善。因为map和reduce不够用 。 spar ...
分类：
其他好文 时间：
2020-06-08 20:48:36
阅读次数：
46
恢复内容开始 大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性，下面主要介绍mapReducehe和Spark两者的shuffle过程。 MapReduce的Shuffle ...
分类：
其他好文 时间：
2020-06-08 19:17:29
阅读次数：
88
1、KDC 添加用户 ，输入密码 HTTP@HADOOP.COM 2、客户机（linux），kerberos客户端安装 3、客户机（linux），kerberos客户端配置 4、关闭客户机防火墙 systemctl stop firewalld.service 5、配置客户机host文件 6、客户机 ...
分类：
其他好文 时间：
2020-06-08 12:55:03
阅读次数：
154
