（1）本周做了什么，花在学习上多长时间，花在代码时间上多长时间，花在解决问题用了多长时间。 学习了Linux环境安装，Hadoop本地模式安装及伪分布式模式安装 学习：2天 代码：1天 解决问题：半天 （2）下周准备做什么？ 学习Hadoop相关知识 （3）本周遇到的问题？ 安装好后，web查看ha ...
分类：
其他好文 时间：
2018-09-01 14:36:25
阅读次数：
132
引言在之前的大数据学习系列中，搭建了Hadoop+Spark+HBase+Hive环境以及一些测试。其实要说的话，我开始学习大数据的时候，搭建的就是集群，并不是单机模式和伪分布式。至于为什么先写单机的搭建，是因为作为个人学习的话，单机已足以，好吧，说实话是自己的电脑不行，使用虚拟机实在太卡了。。。整个的集群搭建是在公司的测试服务搭建的，在搭建的时候遇到各种各样的坑，当然也收获颇多。在成功搭建大数据
分类：
其他好文 时间：
2018-08-22 10:19:53
阅读次数：
235
在学习zk伪分布式集群对的时候，第一次注意到克隆虚拟机后修改eth的ip地址，发现ip不是自己修改的ip，进而在询问下发现，当我们第一次登陆查看我们克隆的虚拟机ip时：我们看到的ip不是eth0的ip，而是eth1的ip。 而究其原因是因为在克隆后出现网卡MAC地址和原系统MAC地址一样，在局域网内 ...
分类：
系统相关 时间：
2018-08-12 10:30:10
阅读次数：
278
实现这个代码的原因是： 我会MapReduce，但是之前都是在AWS EMR上，自己搭过伪分布式的，但是感觉运维起来比较困难； 我就MySQL会一点（本来想用mongoDB的但是不太会啊） 数据量不是很大，至少对我来说。 希望不要出很么问题，这方面文件系统还是可以信任的。 设计思路如下： init阶 ...
分类：
数据库 时间：
2018-08-09 21:07:39
阅读次数：
198
一：前提 1.安装条件 Java Scala zookeeper Kafka 2.使用版本 使用的版本是0.8.2.1 二：伪分布式安装 1.解压 kafka_2.10-0.8.2.1 2.拷贝server.properties 3.依次修改四个文件 官网上：说明这三个配置项是必要的。 主要要配置的 ...
分类：
其他好文 时间：
2018-08-03 00:52:39
阅读次数：
233
Hadoop集群搭建及介绍： 什么是hadoop？ Hadoop是Apache开源的，可靠的，可扩展的一个项目； 能解决的问题是： 1、海量数据的存储（hdfs） 2、海量数据的分析（MapReduce） 3、资源管理调度（YARN） 1、Hadoop子项目家族成员： 2、修改主机名： 3、配置ss ...
分类：
其他好文 时间：
2018-08-01 19:45:02
阅读次数：
153
本篇文章是接上一篇《超详细hadoop虚拟机安装教程（附图文步骤）》，上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了，hadoop安装会在后面写到，因为整个系列的文章涉及到每一步的截图，导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍，然后才会写到hadoop安装，关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop。
分类：
系统相关 时间：
2018-07-30 14:55:38
阅读次数：
163
本篇文章是接上一篇《超详细hadoop虚拟机安装教程（附图文步骤）》，上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了，hadoop安装会在后面写到，因为整个系列的文章涉及到每一步的截图，导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍，然后才会写到hadoop安装，关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop。
分类：
系统相关 时间：
2018-07-30 14:47:33
阅读次数：
237
注意：此次搭建是在ssh无密码配置、jdk环境已经配置好的情况下进行的 可以参考： Hadoop完全分布式安装教程 CentOS环境下搭建hadoop伪分布式集群 1.更改主机名 执行命令：vi /etc/sysconfig/network 2.设置hosts中ip与主机名的绑定 执行命令 vi / ...
分类：
其他好文 时间：
2018-07-22 17:01:44
阅读次数：
218
前提环境：jdk、hadoop、ssh 一、hbase安装 下载 配置环境变量 查看版本，安装成功 二、伪分布式的配置 进入hbase目录下 1、配置/conf/hbase-env.sh 配置JAVA_HOME，HBASE_CLASSPATH，HBASE_MANAGES_ZK.HBASE_CLASS ...
分类：
其他好文 时间：
2018-07-21 20:33:27
阅读次数：
173
