数据仓库 Hive是建立在Hadoop HDFS上的数据仓库基础架构 Hive可以用来进行数据提取转化加载（ETL） Hive定义了见到那的类似SQL查询语言，称为HQL它允许熟悉SQL的用户查询数据 Hive允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的ma ...
分类：
其他好文 时间：
2018-08-18 21:21:41
阅读次数：
157
在Hive中，ORDER BY语句是对查询结果集进行整体的排序，最终将会产生一个reducer进行全局的排序，达到的最终结果是和传统的关系型数据库是一样的。 在数据量非常大的时候，全局排序的单个reducer将会成为性能瓶颈，有可能由于数据量过大而跑不出来结果。 Hive中可以设置hive.mapr ...
分类：
数据库 时间：
2018-08-17 00:41:13
阅读次数：
198
一、问题描述 ___ 想通过react redux和redux实现react组件之间的通信,reducer、action、store都编写正确,mapDispatchToProps也能正确传值.唯独mapStateToProps的return出现了问题。 但是用chrome的react插件查看pro ...
分类：
其他好文 时间：
2018-08-13 14:03:42
阅读次数：
1663
实现这个代码的原因是： 我会MapReduce，但是之前都是在AWS EMR上，自己搭过伪分布式的，但是感觉运维起来比较困难； 我就MySQL会一点（本来想用mongoDB的但是不太会啊） 数据量不是很大，至少对我来说。 希望不要出很么问题，这方面文件系统还是可以信任的。 设计思路如下： init阶 ...
分类：
数据库 时间：
2018-08-09 21:07:39
阅读次数：
198
1. 定义接口名称 /domain/login-guard.ts 2. 定义actions /ngrx/actions/login-guard.action.ts 3. 定义reducers /ngrx/actions/login-guard.reducer.ts 4. login.service. ...
分类：
其他好文 时间：
2018-08-09 12:19:47
阅读次数：
231
package cn.sjq.bigdata.inverted.index;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache
分类：
其他好文 时间：
2018-08-03 11:30:58
阅读次数：
217
在Redux源码中主要有四个文件createStore,applyMiddleware,bindActionCreators,combineRedures createStore.js export default function createStore(reducer, preloadedSta ...
分类：
其他好文 时间：
2018-07-07 10:44:50
阅读次数：
167
一、Steaming Map任务： Reducer任务： 启动脚本： 二、Python Map任务： Reducer任务： 启动脚本： 三、Java Map： Reduce： Main： ...
分类：
编程语言 时间：
2018-07-05 19:45:14
阅读次数：
254
一、Streaming 注意：输出目录不能存在，故启动任务前，删除。mapper.sh，reducer.sh文件与start.sh文件同属于当前目录下 二、Python 注意：输出目录不能存在，故启动任务前，删除。mapper.sh，reducer.sh文件与start.sh文件同属于当前目录下 三 ...
分类：
其他好文 时间：
2018-07-05 18:20:04
阅读次数：
210
1.redux: function reducer(state=-,action) { switch(action.type) { case '': return ... case '': return ... default: return ... } } const store = create ...
分类：
其他好文 时间：
2018-07-03 23:49:55
阅读次数：
162
