笔者从 2008 年开始工作到现在也有 11 个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy），也做过上层大数据应用开发（写 MapReduce Job 做 ETL ，用 Hive 做 Ad hocquery，用 Tableau ...
分类：
其他好文 时间：
2019-10-14 12:15:22
阅读次数：
95
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序 HQL 转换 MR 流程： Hive 处理的数据存储在 ...
分类：
其他好文 时间：
2019-10-04 22:31:39
阅读次数：
120
转自：http://www.cnblogs.com/mr-wid/archive/2013/01/22/2871105.html 一、向量的介绍 向量 vector 是一种对象实体, 能够容纳许多其他类型相同的元素, 因此又被称为容器。 与string相同, vector 同属于STL(Standa ...
分类：
其他好文 时间：
2019-10-04 20:57:33
阅读次数：
70
本文链接：https://blog.csdn.net/Mr__lqy/article/details/85719603 1. 连接mysql 2. 多字段动态插入mysql数据库中 3. 数据更新插入mysql数据库中 ...
分类：
数据库 时间：
2019-10-02 22:42:47
阅读次数：
396
一、GitHub地址 :https://github.com/Mr-Gsh/individual-event-wc- 二、PSP表格 三、问题与解决方法 1.一开始看到题目的时候，觉得跟大二学Java的时候所实现的功能没用什么太大区别，认真看过后才发现区别还是有不少，比如通过控制台去跳出图形界面，递 ...
分类：
编程语言 时间：
2019-09-25 22:51:36
阅读次数：
170
MapReduce计算流程 MapReduce计算流程 1 首先是通过程序员所编写的MR程序通过命令行本地提交或者IDE远程提交 2 一个MR程序就是一个Job，Job信息会给Resourcemanger，向Resourcemanger注册信息 3 在注册通过后，Job会拷贝相关的资源信息（从HDF ...
分类：
其他好文 时间：
2019-09-21 15:26:11
阅读次数：
96
9.3 关系的表示 关系的一般表示方法： 将所有关系列出； 用一个到{T, F}的映射 关系的特殊表示方法 用0 1矩阵(zero one matrix)来表示； 用有向图(directed graph)来表示 用邻接矩阵表示关系 称0 1矩阵MR为R的邻接矩阵, 定义如下： 1. 通过以下观察0 ...
分类：
其他好文 时间：
2019-09-18 19:20:23
阅读次数：
94
sparkf:spark sql替换hive查询引擎 CONSOLE WARNING: Hive on MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a diffe ...
分类：
数据库 时间：
2019-09-18 10:52:55
阅读次数：
212
hadoop 分布式计算框架。 common // hdfs //存储 mapreduce //MR,编程模型. yarn //资源调度. 集群部署 1.standard alone/local nothing. 2.伪分布式 一台机器. NN //目录 DN //DataNode,block（12 ...
分类：
其他好文 时间：
2019-09-16 23:50:45
阅读次数：
134
Hive理论1、Hive是什么？一个sql解析引擎，将SQL解析成MR，Hive本质就是MR2、Hive不存数据的，数据实际存在HDFS上，元数据基本上都存在mysql上3、Hive内容是读多写少，不支持数据的改写和删除4、Hive的SQL和传统SQL区别： 可扩展性：用户自定义函数 1）UDF：用 ...
分类：
其他好文 时间：
2019-09-15 17:10:25
阅读次数：
110
