YARN调度架构 esourceScheduler是YARN的调度器，负责Container的分配。 AsyncDispatcher是单线程的事件分发器，负责向调度器发送调度事件。 ResourceTrackerService是资源跟踪服务，主要负责接收处理NodeManager的心跳信息。 App... ...
分类：
移动开发 时间：
2020-05-24 20:59:39
阅读次数：
118
作者 渡码，阿里巴巴码农，公众号：渡码 作者，专注大数据开发、数据分析和Python技术。 关注公众号 渡码 回复关键字 manis，可获取电子书、各章节和完整源代码，并且可加入读者群一起交流问题。 简介 19年上半年，我阅读了Hadoop RPC模块的源代码，读完后发现这个模块设计的非常好，与其他 ...
分类：
其他好文 时间：
2020-05-24 19:17:26
阅读次数：
73
简介 Spark有3种集群管理器: Standalone Hadoop YARN 又分为yarn client与yarn cluser Apache Mesos 生产环境中一般使用yarn cluser模式 个人理解 yarn主要有两个作用. 一个是创建container以此来分配计算资源 另外一个 ...
分类：
其他好文 时间：
2020-05-24 11:33:26
阅读次数：
64
为了方便远程提交代码运行，我们在Eclipse下搭建Hadoop开发环境。 1.JDK安装配置 首先得先安装并配置好JDK，然后下载安装Eclipse。这一部分不做过多介绍，使用java这一步应该都已经达成，接下来开始对Hadoop开发环境进行搭建。 2.Hadoop插件安装和配置 Eclipse ...
分类：
系统相关 时间：
2020-05-24 09:56:20
阅读次数：
70
第十二章 如何锻炼数据科学技能 （资深数据科学家 & 创新领袖） 数据科学是一个结合了应用数学，计算机科学，商业资讯和新产品研发的综合职位。统计学，机器学习，sql，hadoop，java（数据科学家应该像瑞士军刀一样多才多艺，能够在诸多领域多才多艺，并且在一两个领域内拥有深邃的真知灼见。）商业资讯 ...
分类：
其他好文 时间：
2020-05-24 09:17:20
阅读次数：
65
hadoop完全分布式集群有一般集群和HA高可用集群 一般集群只有一个namenode节点，当namenode节点出现故障时，整个集群将无法使用。因此，相对的出现了HA集群 HA集群具有主备切换机制，有两个namenode节点，active/standby namenode，两个节点元数据同步， 当 ...
分类：
其他好文 时间：
2020-05-23 20:27:21
阅读次数：
63
1、在配置jar包的时候发现如果hadoop.jar包的版本高于所运行的hadoop版本会报错，甚至无法创建工程文件，不兼容高版本的jar包 2、在运行mapreduce的时候需要将所需要map的文件上传到hadoop服务器上的/user/hadoop/，否则在默认路径找不到这个文件 3、当map结 ...
分类：
其他好文 时间：
2020-05-23 20:08:24
阅读次数：
49
org.apache.hadoop.fs.FileSystem是Hadoop中一个相当通用的文件系统的抽象基类，它是一个面向最终用户的接口类。应该将所有可能使用Hadoop分布式文件系统的用户代码编写为使用一个FileSystem对象。Hadoop DFS是一种多机系统，显示为单个磁盘，由于其容错能 ...
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/ ...
分类：
其他好文 时间：
2020-05-23 18:03:51
阅读次数：
49
hadoop namenode的工作机制 https://blog.csdn.net/u010846741/article/details/52369527 《Hadoop管理一》checkpoint原理和过程 Standby Namenode Checkpoint过程剖析 ...
分类：
其他好文 时间：
2020-05-23 12:59:51
阅读次数：
51
