处在数字化时代的浪潮中，相信大家对于“数据”都不会陌生。无论对于企业还是个人，数据已经成为了数字化时代的“石油”。早在几年前马云就曾提出过一个观点——未来将会实现从IT时代向DT时代的变革。而在几年后的今天，我们切实感受到了大数据所带来的滚滚红利。 ? 在享受大数据红利的同时，也同样要注意数据的安全 ...
分类：
其他好文 时间：
2021-03-17 14:23:44
阅读次数：
0
大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了，因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类：
其他好文 时间：
2021-03-17 14:04:41
阅读次数：
0
安装VMware虚拟机和Linux系统(CentOS) 学习Linux需要一个环境，我们需要创建一个虚拟机，然后在虚拟机上安装要给CentOS系统来学习 1>先安装virtual machine,vm12 2>再安装Linux(CentOS 6.8) 3>原理示意图 ...
分类：
系统相关 时间：
2021-03-17 14:03:30
阅读次数：
0
AIOps 日益增长的趋势，代表着未来市场积极的发展信号。最终，AIOps 将有能力帮助 IT 团队完成各类最重要任务与最紧迫的事务，例如与业务效能密切相关的应用程序与数字服务可靠性、稳定性以及正常运行时间。 日益分散、异构且高度动态化的现代 IT 环境不仅没有降低监控与管理的难度，反而随着云计算、 ...
分类：
其他好文 时间：
2021-03-16 14:06:32
阅读次数：
0
关于 WSL 1 入门，你应该知道这些 如有错误，欢迎指出 参考： WSL 文档 VMware Workstation Pro 文档 概述 通过 WSL 2 来认识 WSL 1 什么是 WSL 2？ WSL 2 是适用于 Linux 的 Windows 子系统体系结构的一个新版本，它支持适用于 Li ...
分类：
其他好文 时间：
2021-03-16 13:56:33
阅读次数：
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-03-16 13:21:18
阅读次数：
0
以表的操作和单条记录的增删改查为基础。 批量操作，需要进行进一步封装。 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.clie ...
分类：
编程语言 时间：
2021-03-15 11:32:26
阅读次数：
0
1. 为什么要引入Yarn和Spark。 从开源角度看，YARN的提出，从一定程度上弱化了多计算框架的优劣之争。YARN是在Hadoop MapReduce基础上演化而来的，在MapReduce时代，很多人批评MapReduce不适合迭代计算和流失计算，于是出现了Spark和Storm等计算框架，而 ...
分类：
其他好文 时间：
2021-03-15 11:29:44
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTable，即分布式NoSQL列数据库，外加Zo ...
分类：
其他好文 时间：
2021-03-15 10:45:14
阅读次数：
0
