#Hadoop 分布式计算平台，同时也是一个生态圈 hadoop 1.X HDFS+MapReducer+Common hadoop 2.X HDFS+MAP+Reducer+Common hadoop 3.X java7->java8，引入纠删码，重写shell脚本，支持超过两个NameNode， ...
分类：
其他好文 时间：
2021-04-27 15:04:12
阅读次数：
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类：
其他好文 时间：
2021-04-05 12:37:34
阅读次数：
0
配置文件 mapred-site.xml 加入以下代码 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!-- 历史服 ...
分类：
其他好文 时间：
2021-03-06 14:37:58
阅读次数：
0
参考：https://blog.csdn.net/vbirdbest/article/details/88189753 安装步骤 1. 修改主机名 sudo scutil --set HostName localhost 2. ssh免密登录 具体配置方法： （1）ssh-keygen -t rsa ...
分类：
系统相关 时间：
2021-03-06 14:17:50
阅读次数：
0
Hadoop Beginner's Guide.pdf item description 封面 初版时间 2014-01-01 出版社 人民邮电出版社 作者 Garry Turkington 页数 310 Hadoop技术内幕：深入解析MapReduce架构设计与实现原理.pdf item desc ...
分类：
其他好文 时间：
2021-02-19 13:06:46
阅读次数：
0
set hive.mapred.mode=nonstrict； 这是不严格模式，默认如此 对分区表进行查询，若在where子句中没有加分区的话，将禁止提交任务。 把属性值进行设置.默认值是没有开启的。默认是nonstrict 查看hive是否开启严格模式 set hive.mapred.mode 说 ...
分类：
其他好文 时间：
2021-01-26 12:44:54
阅读次数：
0
HBase 虽然可以存储数亿或数十亿行数据，但是对于数据分析来说，不太友好，只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询。现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主要说Hive，Hive方便地提供了Hiv ...
分类：
其他好文 时间：
2021-01-21 10:54:30
阅读次数：
0
一、问题描述 查询的语句类似如下： select * from table_name where xxx='yyy' limit 10; 当前的hive表存储格式是orc格式，执行引擎是tez，并行度也已经调整到几十了，但是在执行这个sql的时候，发现一直卡住，执行不成功。 二、问题现象 and 分 ...
分类：
其他好文 时间：
2020-12-25 13:03:17
阅读次数：
0
1.目标框架设置为.net core3.1/.net5 2.将所有的nuget包升级为最新版本 3.需要改动的一些地方 Program.cs public class Program { public static void Main(string[] args) { CreateWebHostBu ...
分类：
Web程序 时间：
2020-11-20 12:23:49
阅读次数：
49
drill 官方没有提供直接的jdbc支持，但是mapr 提供了一个 下载jdbc 驱动 可以直接在drill 的安装包提取，也可以在https://apache.osuosl.org/drill/ 地址下载 ## drill jdbc 连接格式 drill jdbc 驱动支持了多种模式的连接配置: ...
分类：
数据库 时间：
2020-11-11 16:41:28
阅读次数：
13
