一、在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。 1、创建hadoop用户组 2、创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会 ...
分类：
系统相关 时间：
2016-06-14 15:51:01
阅读次数：
266
前一篇文章介绍了Zookeeper的单机模式的安装及应用，但是Zookeeper是为了解决分布式应用场景的，所以通常都会运行在集群模式下。今天由于手头机器不足，所以今天打算在一台机器上部署三个Zookeeper服务来组成一个Zookeeper集群。这里解压Zookeeper的安装包到/opt目录下， ...
分类：
其他好文 时间：
2016-05-27 16:31:23
阅读次数：
226
之前稍微了解了一下大数据方面的知识，在搭建环境的时候我很惆怅的，因为那时候没有弄好，刚好这几天有时间，于是把以前没有弄好的又来配置了一下，没想到居然成功了，这个过程走了很多的弯路，查阅了网上大量资料，终于直接也来整理一下了。
hadoop是分为3种安装模式的，单机模式，伪分布模式和完全分布模式。众所周知，完全分布模式是企业真实开发用的，会需要多台电脑，这里没有条件，...
分类：
其他好文 时间：
2016-05-27 11:46:56
阅读次数：
160
在关系型数据库中Join是非常常见的操作，各种优化手段已经到了极致。在海量数据的环境下，不可避免的也会碰到这种类型的需求，例如在数据分析时需要从不同的数据源中获取数据。不同于传统的单机模式，在分布式存储下采用MapReduce编程模型，也有相应的处理措施和优化方法。
我们先简要地描述待解决的问题。假设有两个数据集：气象站数据库和天气记录数据库
气象站的示例数据，如下...
分类：
编程语言 时间：
2016-05-26 11:35:47
阅读次数：
212
etcd单机模式 设置环境变量 1 export HostIP="192.168.12.50" 1 export HostIP="192.168.12.50" 1 export HostIP="192.168.12.50" 1 export HostIP="192.168.12.50" export ...
分类：
其他好文 时间：
2016-05-25 13:26:24
阅读次数：
450
转载自:http://www.cnblogs.com/sunddenly/p/4018459.html 一、Zookeeper的搭建方式 Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。 ■ 单机模式：Zookeeper只运行在一台服务器上，适合测试环境；■ 伪集群模式：就是在一... ...
分类：
其他好文 时间：
2016-05-25 09:26:12
阅读次数：
173
忘记linux系统超级用户root的密码，需要进入单机模式：重启系统，在读秒时，按e进入grub模式；选择当前系统，按e编辑，就可以看到如下图所示：选择kernel开头的一行，按e进入编辑模式；在光标处写入1，按回车键：按b即可进入单机模式，然后再修改root密码。
分类：
系统相关 时间：
2016-05-16 14:39:57
阅读次数：
487
本文环境如下：
操作系统：CentOS 6 32位
JDK版本：1.8.0_77 32位
Kafka版本：0.9.0.1(Scala 2.11)
1. 所需要的环境Kafka需要以下运行环境：
Java 安装参考CentOS 6使用rpm方式安装JDK8
Zookeeper 安装参考：CentOS下ZooKeeper单机模式、集群模式安装2. 下载、解压Kafka安装包Ka...
分类：
其他好文 时间：
2016-05-12 17:54:50
阅读次数：
282
本文环境如下：
操作系统：CentOS 6 32位
Hive版本：2.0.0
JDK版本：1.8.0_77 32位
Hadoop版本：2.6.4
1. 所需要的环境Hive 2.0需要以下运行环境：
Java 1.7以上（强烈建议使用Java 1.8）
Hadoop 2.X2. 下载、解压Hive安装包Hive官网地址: http://hive.apache.org/...
分类：
其他好文 时间：
2016-05-04 12:02:03
阅读次数：
657
一、相关配置文件修改①修改core-site.xml:$su-lhadoop
$cd/usr/local/hadoop/
$sudovietc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</co..
分类：
其他好文 时间：
2016-04-21 11:59:39
阅读次数：
172
