java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark 解决办法： ...
1 Hadoop是什么 2 Hadoop三大发行版本 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较好。 Apache Hado ...
分类：
其他好文 时间：
2020-07-12 00:59:06
阅读次数：
92
从源头上解决，在上传到HDFS之前，就将多个小文件归档 使用tar命令 带上参数-zcvf 示例： tar -zcvf xxx.tar.gz 小文件列表 如果小文件已经上传到HDFS了，可以使用在线归档 使用hadoop archive命令 示例： hadoop archive -archiveNa ...
分类：
其他好文 时间：
2020-07-11 17:00:14
阅读次数：
76
管道：实用程序服务和数据结构 Pipes: utility services and data structures 管道公用设施 Nucleus RTOS有四个API调用，它们提供与管道相关的实用程序函数：重置管道、返回有关管道的信息、返回应用程序中管道的数量以及返回指向应用程序中所有管道的指针。 ...
分类：
其他好文 时间：
2020-07-11 10:01:53
阅读次数：
59
管道：介绍和基本服务 Pipes: introduction and basic services 与邮箱或队列相比，它们提供了在任务之间传递简单消息的更灵活的方式。 使用管道 在Nucleus SE中，管道是在构建时配置的。一个应用程序最多可以配置16个管道。如果未配置管道，则应用程序中不会包含与 ...
分类：
其他好文 时间：
2020-07-11 09:14:34
阅读次数：
46
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS，查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源，存储资源，实现并行计算 Hive支持标准的SQL语法，免去了编写 ...
分类：
其他好文 时间：
2020-07-10 19:33:44
阅读次数：
77
cat hadoop-env.sh export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08" cat yarn-env.sh YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08" cat hbase-env ...
分类：
其他好文 时间：
2020-07-10 19:26:31
阅读次数：
86
集群启动顺序： NameNode启动 NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过程 ...
分类：
其他好文 时间：
2020-07-10 00:43:16
阅读次数：
97
package com.baway.loginfaildetect import java.util import org.apache.flink.cep.PatternSelectFunctionimport org.apache.flink.cep.scala.{CEP, PatternStr ...
分类：
其他好文 时间：
2020-07-10 00:15:34
阅读次数：
92
package com.sjw.hbase; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org ...
