1Fetch抓取Fectch抓取是指对某些情况下的查询不必使用MapReduce计算将hive.fetch.task.conversion设置成more，在全局查找、字段查找、limit查找等都不走MapReduce2本地模式多数的HadoopJob是需要Hadoop提供的完整的可扩展性来处理大数据集的，不过，有时Hive的输入数据量是非常小的，在这种情况下，为查询触发执行任务消耗的时间可能会比实
分类：
其他好文 时间：
2019-09-13 17:21:44
阅读次数：
105
[TOC] SpringBoot基础（二） 一、操作数据库 1. SpringBootJdbc 1. 引入依赖 jdbc 和 mysql 2. SpringBoot默认支持的连接池策略，如果使用 jdbc 或者 jpa 就会自动连接连接池 优先寻找创建Tomcat连接池 如果没有Tomcat连接池， ...
分类：
编程语言 时间：
2019-08-30 23:12:31
阅读次数：
91
Hadoop 中有三大组件：HDFS、MapReduce、YARN，HDFS 负责大文件存储的问题，MapReduce 负责大数据计算，而 YARN 负责资源的调度，接下来的文章我会一一介绍这几个组件。今天我们先来聊聊 HDFS 的架构及文件的读写流程。 总体架构 HDFS 设计的目的是为了存储大数 ...
分类：
其他好文 时间：
2019-08-24 16:56:05
阅读次数：
103
对于大数据集群来说，监控功能是非常必要的，通过日志判断故障低效，我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。 一、Kafka Monitoring 首先介绍kafka的监控原理，第三方工具也是通过这些来进行监控的，我们也可以自己去是实现监控，官 ...
分类：
其他好文 时间：
2019-08-23 12:00:44
阅读次数：
214
一.环境支持 操作系统: CentOS7 64 JDK环境: JDK 8 Hadoop环境: hadoop-2.8.0 虚拟机名称: master(主)+slave1(从1)+slave2(从2) CentOS7 64位百度网盘下载地址： 链接：https://pan.baidu.com/s/1dc ...
分类：
其他好文 时间：
2019-08-22 18:39:38
阅读次数：
111
Matplotlib——Python可视化包 折线图绘制 折线图适合二维的大数据集，还适合多个二维数据集的比较，主要是用于反映数据的发展趋势变化情况。 多子图的折线图 主要用于多个特征属性的发展趋势变化情况。 柱形图的绘制 柱形图适用场合是二维数据集（每个数据点包括两个值x和y），但只有一个维度需要 ...
分类：
编程语言 时间：
2019-08-17 14:51:59
阅读次数：
126
1.数据存储：磁盘（1）三种架构存储方式。SAN、NAS、DAS。（2）分布式存储架构。注：1）SAN、NAS、DAS是共享存储架构。2）分布式存储架构是一个集群（应用）。3）分布式存储架构（HDFS），HDFS是用于存储数据的软件。2.操作系统：Linux3.1.运维/大数据大数据集群：（1）分布式存储架构（HDFS）（2）map-reduces的数据处理集群注：1）HDFS只是解决数据处理问题
分类：
其他好文 时间：
2019-07-31 11:14:42
阅读次数：
110
一:手动HA切换搭建 实现步骤: 1.修改hdfs-site.xml <configuration> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <property> <name>dfs. ...
分类：
其他好文 时间：
2019-07-09 15:12:44
阅读次数：
142
