一. SparkSQL简介 Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 Dremel > Drill(Apache) >Impala(Cloudrea) Presto(Hotonworks) Hive > Shark(对Hive的模仿，区别在 ...
分类：
数据库 时间：
2020-08-07 21:45:52
阅读次数：
79
1、JedisConnectionPool.scala package sparkstreaming import redis.clients.jedis.{Jedis, JedisPool, JedisPoolConfig} object JedisConnectionPool{ val conf ...
分类：
其他好文 时间：
2020-08-07 18:03:42
阅读次数：
62
针对hive on mapreduce 1：我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并： 参数详细内容可参考官网：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 1 2 3 4 ...
分类：
数据库 时间：
2020-08-03 19:56:21
阅读次数：
103
node节点flannel网络问题导致该node上的pod与其他node节点网络不通的排查思路与解决方法一、问题发现在部署一个replicas：4的nginxdeployment之后在master节点通过curl+podIP+端口的形式测试时，发现两次访问不到，两次可以访问得到。二、问题排查1、通过pingpod的ip地址，发现node1节点的pod全都ping不通，问题很有可能就出在node1节
分类：
其他好文 时间：
2020-08-03 00:49:43
阅读次数：
307
【基于IP多虚拟主机】环境准备1.添加别名ifconfig eth0:1 10.0.0.145 netmask 255.255.255.0 broadcast 10.0.0.255 upifconfig eth0:2 10.0.0.146 netmask 255.255.255.0 broadcas ...
分类：
其他好文 时间：
2020-08-01 15:50:39
阅读次数：
107
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.3.3</version> </dependency> <!-- https://mvnrepos ...
分类：
其他好文 时间：
2020-07-29 09:53:42
阅读次数：
61
1 hadoop集群安装 https://blog.csdn.net/shshheyi/article/details/84893371 1.1 修改主机名 [root@localhost ~]# vim /etc/hosts # 三台机器都需要操作 192.168.28.131 master 19 ...
分类：
其他好文 时间：
2020-07-29 00:41:18
阅读次数：
111
Spark的架构图 1、RDD(弹性分布式数据集) RDD是对象的分布式集合。 RDD以并行方式应用和记录数据转换 RDD也提供数据沿袭——以图形形式给出每个中间步骤的祖先树，当RDD的一个分区丢失，可以根据祖先树重建该分区。 RDD有两组操作，转换(transformation)和行动(actio ...
分类：
其他好文 时间：
2020-07-28 22:37:30
阅读次数：
72
透视函数其实就是我们excel中常用的数据透视表相似，先来看个例子。 以下是准备的数据源，数据是电商系统中用户的行为数据(浏览，收藏，加购，成交，评分等)，score为统计次数。 对应的字段分别为 租户id，用户id，商品编码Id，行为事件代码，当日统计次数，统计日期。 现在我们要转换成目标的数据是 ...
分类：
其他好文 时间：
2020-07-28 17:17:13
阅读次数：
131
Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它启动MapReduce的时间相当长，但是它太方便、 ...
分类：
其他好文 时间：
2020-07-28 14:21:17
阅读次数：
191
