一、软件介绍1、CDH概览CDH（ClouderaDistributionofApacheHadoop）是ApacheHadoop和相关项目中最完整、经过测试和流行的发行版。CDH提供Hadoop的核心元素，可伸缩存储和可扩展分布式计算，以及基于web的用户界面和关键的企业功能。CDH是apache授权的开放源码，是惟一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解
分类：
其他好文 时间：
2020-09-17 16:53:39
阅读次数：
33
1、基本概念 ThreadLocal叫做线程变量，意思是ThreadLocal中填充的变量属于当前线程，该变量对其他线程而言是隔离的。ThreadLocal为变量在每个线程中都创建了一个副本，那么每个线程可以访问自己内部的副本变量。 2、使用场景 1、在进行对象跨层传递的时候，使用ThreadLoc ...
分类：
其他好文 时间：
2020-09-17 16:28:42
阅读次数：
25
YARN YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分 ...
分类：
其他好文 时间：
2020-09-17 14:19:46
阅读次数：
28
当运行中出现Container is running beyond physical memory这个问题出现主要是因为物理内存不足导致的，在执行mapreduce的时候，每个map和reduce都有自己分配到内存的最大值，当map函数需要的内存大于这个值就会报这个错误，解决方法： 在mapredu ...
分类：
其他好文 时间：
2020-09-17 13:31:24
阅读次数：
39
hadoop的RPC基本概念： 1，RPC(Remote Procedure Call Protocol)--远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信 ...
分类：
其他好文 时间：
2020-09-16 12:21:20
阅读次数：
33
一、过程 1、修改配置文件 vim etc/hadoop/hdfs-site.xml <property> <name>dfs.datanode.data.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.t ...
分类：
其他好文 时间：
2020-09-15 21:01:05
阅读次数：
37
Flink常用算子代码实现 (Scala版本和Java版本) ...
分类：
编程语言 时间：
2020-09-11 16:15:56
阅读次数：
71
一、格式 1、父类 bin/hadoop fs 命令 2、子类 bin/hdfs dfs 命令 二、命令 1、help 作用：获取帮助文档格式：hadoop fs -help 命令名称 2、ls 作用：查看HDFS路径的文件 格式： hadoop fs -ls 路径 hadoop fs -ls -R ...
分类：
系统相关 时间：
2020-09-10 23:08:31
阅读次数：
47
写在前面 首先我们来看看需求，以下是某博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（好友关系是单向的）： A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A, ...
分类：
其他好文 时间：
2020-09-10 22:33:47
阅读次数：
36
体验平台简介面向开发者和中小企业打造的一站式、全云端的开发平台，打开浏览器就可以开发、调试、上线，所测即所得，并结合无服务器的模式，重新定义云原生时代的研发工作方法论。旨在降低开发者上手成本和中小企业的启动成本、运营成本、以及突发流量带来的运维风险。教程介绍本教程介绍如何在Linux实例上快速搭建一个Hadoop伪分布式环境。场景体验场景内容选自阿里云体验实验室阿里云体验实验室提供一台配置了Cen
分类：
其他好文 时间：
2020-09-08 21:06:59
阅读次数：
61
