Hadoop 是什么 Hadoop 是一个开源的大数据框架同时也是一个分布式计算的解决方案。Hadoop = HDFS （分布式文件系统）+MapReduce（分布式计算） HDFS HDFS 概念 数据块 NameNode DataNode 数据块： 数据块是一个抽象的块，而不是整个文件。默认大小 ...
分类：
其他好文 时间：
2019-08-25 12:00:12
阅读次数：
120
转自：https://www.jianshu.com/p/46771b81af89需求:服务器为windowsserver(也就是windows操作系统)，但是需要在该服务器上部署大数据测试集群。由于大数据框架最优的运行环境为linux系统，所以我们需要在windows里安装虚拟机。但是面临不同服务器之中虚拟机如何网络互通的问题。可参照文章顶部论文解决该问题。解决方案：网络适配模式：桥接模式注意：
分类：
其他好文 时间：
2019-08-21 17:36:51
阅读次数：
88
章节详情 第1章 课程导学 第2章 初识实时流处理Storm 第3章 Storm核心概念 第4章 Storm编程 第5章 Storm周边框架使用 第6章 Storm架构及部署 第7章 并行度 第8章 分组策略 第9章 Storm可靠性 第10章 DRPC 第11章 Storm整合其他大数据框架的使用 ...
分类：
编程语言 时间：
2019-07-01 14:12:47
阅读次数：
255
大家好，我是来自内蒙古的小哥，我现在在北京学习大数据，我想把学到的东西分享给大家，想和大家一起学习 hue框架介绍和安装部署 hue全称：HUE=Hadoop User Experience 他是cloudera公司提供的一个web框架，和其他大数据框架整合，提供可视化界面 hue的架构 1.hue ...
分类：
其他好文 时间：
2019-06-20 21:23:53
阅读次数：
217
学习大数据必先学习Hadoop，因为它是目前世界上最流行的分布式数据处理框架、Hadoop是一个用于分布式大数据处理的编程框架 一、Hadoop介绍 1、开源大数据框架2、分布式计算的解决方案3、Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算） Hadoop的构造模块 Na ...
分类：
其他好文 时间：
2019-06-06 22:57:16
阅读次数：
119
第1章 性能测试整体认知了解性能测试的目的，想做好性能测试都需要掌握哪些方面的技能(开发语言、操作系统、网络、工具等)。性能测试、稳定性、压力、疲劳、容量预估、多并发逻辑。掌握如何开始性能测试，并且掌握在性能测试中每个部分的工作重点，了解软件架构、监控部署、脚本准备、场景设置及知道为什么需要做这些。 ...
分类：
其他好文 时间：
2019-01-21 00:31:28
阅读次数：
997
hadoopCommon:包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的API。HadoopDistributedFileSystem(HDFS?):分布式文
分类：
其他好文 时间：
2019-01-03 12:05:46
阅读次数：
142
产品渊源： 随着人工智能技术的快速发展，各种深度学习框架层出不穷，为了提高效率，更好地让人工智能快速落地，很多企业都很关注深度学习训练的平台化问题。例如，如何提升GPU等硬件资源的利用率？如何节省硬件投入成本？如何支持算法工程师更方便的应用各类深度学习技术，从繁杂的环境运维等工作中解脱出来？等等。 ...
分类：
其他好文 时间：
2018-11-09 13:53:14
阅读次数：
723
Hadoop的分布式协同服务，让分布式系统碰到失败时候，能够正确处理此类问题。基础功能：master选举，数据同步。Zooleeper集群有Client和Server(leader和follower)，且台数为奇数。若半数以上完好，则能够提供服务。。 Client和Server(leader和fol ...
分类：
其他好文 时间：
2018-09-12 11:15:08
阅读次数：
203
YARN(Yet Another Resource Negotiator): 是一种新的 Hadoop 资源管理器 [ResourceManager：纯粹的调度器，基于应用程序对资源的需求进行调度的，不对应用进行监控和状态跟踪。ResourceManager中有一个模块叫做ApplicationsM ...
分类：
其他好文 时间：
2018-09-12 11:13:18
阅读次数：
173
