一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based ...
分类：
Web程序 时间：
2020-06-27 00:19:37
阅读次数：
77
1、Maven的继承 Maven的继承，就是子模块会自动继承父模块中定义的一些依赖、插件、属性等等。我们使用继承的目的是为了消除重复性，实际项目中最常用的是把子模块pom中很多相同的依赖配置提取出来，统一锁定在父模块的pom中。如：grouptId、artifactId、version等等。然后在使... ...
分类：
其他好文 时间：
2020-06-26 22:26:08
阅读次数：
57
我这里是MapReduce导出的数据，MapReduce导出的数据中，Key和Value之间用制表符分隔的，可以直接作为表格型数据进行操作，复制一下导出的数据 1. 首先在Matlab工作区创建一个元胞型的变量 2. 然后复制导出的数据 3. 在变量区选择，粘贴Excel数据，就创建好了 如图所示 ...
分类：
其他好文 时间：
2020-06-26 22:08:29
阅读次数：
80
一、流处理 1.1 静态数据处理 在流处理之前，数据通常存储在数据库，文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储，采用 MapReduce 进行数据查询或分析，这就是典型的静态数据处理架构。 1.2 流 ...
分类：
其他好文 时间：
2020-06-26 20:02:43
阅读次数：
49
1、hive的企业级调优 1.1 Fetch抓取（鸡肋） Fetch抓取是指，==Hive中对某些情况的查询可以不必使用MapReduce计算== 例如：select * from employee; 在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制 ...
分类：
其他好文 时间：
2020-06-26 18:44:35
阅读次数：
56
1. order by，sort by，distribute by，cluster by的区别？ 2. 聚合函数是否可以写在order by后面，为什么？ 需求催生技术进步 一、课前准备 二、课堂主题 三、课堂目标 1. 掌握hive表的数据压缩和文件存储格式 2. 掌握hive的JDBC代码操作 ...
分类：
其他好文 时间：
2020-06-26 18:42:15
阅读次数：
58
一、简单聚合 1.1 数据准备 // 需要导入 spark sql 内置的函数包 import org.apache.spark.sql.functions._ val spark = SparkSession.builder().appName("aggregations").master("lo ...
分类：
数据库 时间：
2020-06-26 18:03:35
阅读次数：
58
回顾经典卷积的操作：采样（即构建邻域）+聚合（聚合邻居结点的信息）。将固定数量的邻域结点排序后，与相同数量的卷积核参数相乘求和。 对于图结构数据如何定义卷积操作？ 1）构建邻域； 2）对邻域的点与卷积核参数内积； GNN，构建邻域的大小为p，p个固定数量的卷积核参数。GNN使用随机游走的方法，为每个 ...
分类：
其他好文 时间：
2020-06-26 13:12:16
阅读次数：
105
在平时的开发任务中我们经常会用到MYSQL的GROUP BY分组， 用来获取数据表中以分组字段为依据的统计数据。比如有一个学生选课表，表结构如下： Table: Subject_Selection Subject Semester Attendee ITB001 1 John ITB001 1 Bo ...
分类：
其他好文 时间：
2020-06-26 12:32:17
阅读次数：
50
一、简介 在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)： 累加器：用来对信息进行聚合，主要用于累计计数等场景； 广播变量：主要用于在节点间高效分发大对象。 二、累加器 这里先看一个具体的场景，对于正常的累计求和 ...
分类：
其他好文 时间：
2020-06-26 10:59:41
阅读次数：
50
