一.Hadoop社区版和发行版 社区版：我们把Apache社区一直开发的Hadoop称为社区版。简单的说就是Apache Hadoophttp://hadoop.apache.org/ 发行版：基于Apache Hadoop的基础上进行商业改造的解决方案，包含一系列定制的管理工具和软件。 二.Had ...
分类：
其他好文 时间：
2020-05-20 18:35:44
阅读次数：
59
1. UDF 2.UDAF 3.UDTF hive是一个计算引擎. mapreduce 慢，吞吐量达. hive有点像一个hadoop的客户端,他不是分布式的. ...
分类：
其他好文 时间：
2020-05-19 10:43:18
阅读次数：
40
一、引言 HBase由于其存储和读写的高性能，在OLAP即时分析中越来越发挥重要的作用，在易观精细化运营产品 易观方舟也有广泛的应用。作为Nosql数据库的一员，HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能。HBase中的数据 ...
分类：
其他好文 时间：
2020-05-19 10:33:51
阅读次数：
84
承接上一篇文档《Spark案例练习-打包提交》 将spark应用运行在yarn集群上 官网地址：http://spark.apache.org/docs/2.0.2/running-on-yarn.html 1. 在spark-env.sh中配置HADOOP_CONF_DIR 或者 YARN_CON ...
分类：
其他好文 时间：
2020-05-19 01:07:50
阅读次数：
53
多线程 35. 并行和并发有什么区别？ 并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔发生。 并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。 在一台处理器上“同时”处理多个任务，在多台处理器上同时处理多个任务。如hadoop分布式集群。 所以并发编程的目 ...
分类：
编程语言 时间：
2020-05-19 00:57:50
阅读次数：
61
大数据实践（一） Hadoop单机搭建（Ubuntu） 前置环境及工具： Ubuntu 16 VirtualBox Hadoop 2.7.3 xftp6 jdk1.8 [TOC] 1、VirtualBox环境准备 001、设置网卡 双网卡：选择桥接模式与仅主机模式。 保证主机与虚拟机之间相互ping ...
分类：
系统相关 时间：
2020-05-19 00:41:06
阅读次数：
78
通用监控指标 对于每个RPC服务应该监控 RpcProcessingTimeAvgTime(PRC处理的平均时间) 通常hdfs在异常任务突发大量访问时，这个参数会突然变得很大，导致其他用户访问hdfs时，会感觉到卡顿，从而影响任务的执行时间 CallQueueLength(RPC Call队列的长 ...
分类：
其他好文 时间：
2020-05-18 20:44:08
阅读次数：
170
MongoDB / ElasticSearch: 文档数据库一般用类JSON格式存储数据，存储的内容是文档型的 HBase: 按列存储数据的。最大特点是方便存储结构化和半结构化数据，方便做数据压缩，针对某一列或某几列的查询有非常大的I/O优势，适合于批量数据处理和即时查询。 Redis： 通过key ...
分类：
其他好文 时间：
2020-05-18 18:31:48
阅读次数：
59
Hive产生背景： mapreduce编程的不便性 HDFS上的文件缺少Schema Hive Facebook开源的，最初用于海量结构化的日志数据统计问题 构建在hadoop之上的数据仓库 hive定义了一种类SQL查询语言：HQL（类似SQL但不完全相同） 通常用于离线数据处理（采用mapred ...
分类：
其他好文 时间：
2020-05-18 16:01:16
阅读次数：
183
https://www.cnblogs.com/kisf/p/7494203.html kerberos相关： ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 ...
分类：
其他好文 时间：
2020-05-18 15:53:51
阅读次数：
54
