Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS，查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源，存储资源，实现并行计算 Hive支持标准的SQL语法，免去了编写 ...
分类：
其他好文 时间：
2020-07-10 19:33:44
阅读次数：
77
mapred-default.xml： 版本 参数位置 参数名 默认值 说明 cdh5.0.1 mapred-default.xml mapred.reduce.tasks（mapreduce.job.reduces） 1 默认启动的reduce数。通过该参数可以手动修改reduce的个数 mapr ...
分类：
其他好文 时间：
2020-07-10 15:35:12
阅读次数：
74
最近比较忙，有段时间没有更新了，趁今天有空总结下jmeter组件。 jmeter工具是一款轻便的用于性能/接口测试的java桌面应用。安装方式网上已经泛滥，需要注意的是jdk安装和配置环境变量（在配置环境变量的时候最好先复制自己的环境变量，防止配置环境变量出错乱改导致不知道自己的环境变量是多少） 话 ...
分类：
其他好文 时间：
2020-07-10 11:46:10
阅读次数：
46
# models class Student(models.Model): name = models.CharField(max_length=32) age = models.IntegerField() def __str__(self): return self.name # views # ...
分类：
其他好文 时间：
2020-07-10 11:20:20
阅读次数：
62
横转纵直接就用case when ,对于数值类的可以添加个聚合函数，那么文本类的也可以添加聚合函数吗？ select PatientID , Age, Sex, Height, Weight,OperatorID,BMI, max(case when rank%2=1 then KRKPPGFile ...
分类：
数据库 时间：
2020-07-09 19:39:29
阅读次数：
93
承接上一篇，NoSQL实验 MapReduce实验 如何在Eclipse中运行MapReduce程序，参考厦大数据库实验室博客 总体代码： package org.apache.hadoop.examples; import java.io.IOException; import java.util ...
分类：
其他好文 时间：
2020-07-09 15:08:03
阅读次数：
127
1、初识Flink Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林 ...
分类：
其他好文 时间：
2020-07-09 13:49:53
阅读次数：
59
问题起因： ONLY_FUll_GROUP_BY的意思是：对于GROUP BY聚合操作，如果在SELECT中的列，没有在GROUP BY中出现，那么这个SQL是不合法的，因为列不在GROUP BY语句中，也就是说查出来的列必须是GROUP BY之后的字段，或者这个字段出现在聚合函数里面。 这个sql ...
分类：
数据库 时间：
2020-07-08 19:34:13
阅读次数：
114
基于上一次运行成功查看输出文件没有结果的经历，这一次仔细理解了pso的MapReduce代码，发现自己之前的输入数据并不符合代码要求的格式，于是加以修改了。 根据此代码，输入数据应该是如下字段： 粒子编号、位置向量1、粒子速度1、个人最优位置1、全局最优位置1、位置向量2、粒子速度2、个人最优位置2 ...
分类：
其他好文 时间：
2020-07-08 19:30:59
阅读次数：
65
Ocelot是一个用.NET Core实现并且开源的API网关，它功能强大，包括了：路由、请求聚合、服务发现、认证、鉴权、限流熔断、并内置了负载均衡器与Service Fabric、Butterfly Tracing集成。这些功能只都只需要简单的配置即可完成，下面我们会对这些功能的配置一一进行说明。 ...
分类：
Web程序 时间：
2020-07-08 15:34:16
阅读次数：
103
