Linux部分 ①列举你使用的常用指令? ②怎么查看服务是否开启?后面的参数都是什么意思? ③怎么查看服务器内存使用情况? ④日志查看指令? ⑤跨机房怎么传输文件? Hadoop部分 ①怎么搭建一个Hadoop集群? ②Hadoop的Shuffer机制? ③切片概念?文件256M时,几个切片? ④M ...
分类:
其他好文 时间:
2020-07-08 13:03:03
阅读次数:
59
Flink 的安装和部署主要分为本地(单机)模式和集群模式,其中本地模式只需直接解压就可以使用,不以修改任何参数,一般在做一些简单测试的时候使用。本地模式在我们的 课程里面不再赘述。集群模式包含: u Standalone。 u Flink on Yarn。 u Mesos。 u Docker。 u ...
分类:
其他好文 时间:
2020-07-07 12:56:50
阅读次数:
58
欢迎关注 CSDN:程序员小羊 微信公众号:程序员小羊 不知不觉都2020年7月了,小羊同学从毕业快开始都一直从事java开发这个行业,前两天开通了头条号,想借此发文分享一下这几年的经历吧,如果你是还没毕业的大学生或者刚入行不久,也许会对你有帮助。 1:多问,尤其是应届生,在这个阶段会遇到的问题很多 ...
分类:
编程语言 时间:
2020-07-06 18:06:41
阅读次数:
52
Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的,基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点,并且设计用来部署在低廉的硬件上,适合那些有着超大数据集的应用程序 MapR ...
分类:
其他好文 时间:
2020-07-06 15:47:59
阅读次数:
67
转自:https://blog.csdn.net/zhanglong_4444/article/details/99471770 name description value hadoop.registry.rm.enabled 是否在YARN资源管理器中启用了注册表? 如果属实,那么YARN RM ...
在windows 环境下运行hadoop会报错, 解决方案:产生上述错误的原因是由于你本地的hadoop版本与lib文件中你替换的编译hadoop.dll版本不对应导致的 下载对应版本的hadoop和winutil.exe放到 就可以了,免费下载连接 ...
分类:
数据库 时间:
2020-07-06 12:27:10
阅读次数:
66
这里的1987.csv和1988.csv只是当年的12月份数据 Select Where Aggregation AggregationWithCombiner SplitByMonthMapper ...
分类:
其他好文 时间:
2020-07-06 01:39:23
阅读次数:
66
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.q... ...
分类:
编程语言 时间:
2020-07-05 23:03:01
阅读次数:
289
Apache概述 ''' Apache HTTPD Server 简称 Apache,是 Apache 软件基金会的一个开源的网页服务器, 可以在大多数计算机操作系统中运行,由于其多平台和安全性被广泛使用, 是最流行的 Web 服务器端软件之一。它快速、可靠并且可通过简单的 API 扩展,将 Per ...
分类:
Web程序 时间:
2020-07-05 19:25:06
阅读次数:
72
VirtualBox虚拟机文件默认存放位置在C盘,hadoop搭建完全分布需要多建立几个虚拟机,C盘就直接炸了,所以先改个默认路径吧。 1.选择全局设定 2.选择你想把虚拟机vdi存放的路径 重点:虚拟机文件迁移方法 1.先把你的某个虚拟机的整个文件夹拷贝到你的目录下去,比如这是我拷过来的文件夹。 ...
分类:
其他好文 时间:
2020-07-05 15:40:50
阅读次数:
90