实现这个代码的原因是： 我会MapReduce，但是之前都是在AWS EMR上，自己搭过伪分布式的，但是感觉运维起来比较困难； 我就MySQL会一点（本来想用mongoDB的但是不太会啊） 数据量不是很大，至少对我来说。 希望不要出很么问题，这方面文件系统还是可以信任的。 设计思路如下： init阶 ...
分类：
数据库 时间：
2018-08-09 21:07:39
阅读次数：
198
一：前提 1.安装条件 Java Scala zookeeper Kafka 2.使用版本 使用的版本是0.8.2.1 二：伪分布式安装 1.解压 kafka_2.10-0.8.2.1 2.拷贝server.properties 3.依次修改四个文件 官网上：说明这三个配置项是必要的。 主要要配置的 ...
分类：
其他好文 时间：
2018-08-03 00:52:39
阅读次数：
233
Hadoop集群搭建及介绍： 什么是hadoop？ Hadoop是Apache开源的，可靠的，可扩展的一个项目； 能解决的问题是： 1、海量数据的存储（hdfs） 2、海量数据的分析（MapReduce） 3、资源管理调度（YARN） 1、Hadoop子项目家族成员： 2、修改主机名： 3、配置ss ...
分类：
其他好文 时间：
2018-08-01 19:45:02
阅读次数：
153
本篇文章是接上一篇《超详细hadoop虚拟机安装教程（附图文步骤）》，上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了，hadoop安装会在后面写到，因为整个系列的文章涉及到每一步的截图，导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍，然后才会写到hadoop安装，关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop。
分类：
系统相关 时间：
2018-07-30 14:55:38
阅读次数：
163
本篇文章是接上一篇《超详细hadoop虚拟机安装教程（附图文步骤）》，上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了，hadoop安装会在后面写到，因为整个系列的文章涉及到每一步的截图，导致文章整体很长。会分别先对虚拟机的安装、Linux系统安装进行介绍，然后才会写到hadoop安装，关于hadoop版本我使用的是大快搜索三节点发行版DKhadoop。
分类：
系统相关 时间：
2018-07-30 14:47:33
阅读次数：
237
注意：此次搭建是在ssh无密码配置、jdk环境已经配置好的情况下进行的 可以参考： Hadoop完全分布式安装教程 CentOS环境下搭建hadoop伪分布式集群 1.更改主机名 执行命令：vi /etc/sysconfig/network 2.设置hosts中ip与主机名的绑定 执行命令 vi / ...
分类：
其他好文 时间：
2018-07-22 17:01:44
阅读次数：
218
前提环境：jdk、hadoop、ssh 一、hbase安装 下载 配置环境变量 查看版本，安装成功 二、伪分布式的配置 进入hbase目录下 1、配置/conf/hbase-env.sh 配置JAVA_HOME，HBASE_CLASSPATH，HBASE_MANAGES_ZK.HBASE_CLASS ...
分类：
其他好文 时间：
2018-07-21 20:33:27
阅读次数：
173
进行Hadoop伪分布式搭建时，需要有一定的Linux命令基础, 因为Hadoop是搭建在Linux环境上的开源框架, Hadoop的框架最核心的设计就是：HDFS和MapReduce。 本文也主要讲述HDFS和MapReduce环境的搭建。 搭建环境： 一、虚拟机网络环境配置 1.首先移动到网络配 ...
分类：
其他好文 时间：
2018-07-19 21:20:24
阅读次数：
152
学习总结： 学习过程：今天是新换的老师，之后主要是带领我们做大数据的项目，今天我们对之前老师讲的重新串了一遍，还学了idea这个新的编程工具，刚开始是软件不熟悉，在创建项目之前调用jar包存在失误导致创建错误。 总结：最主要是对之前讲过的linux命令以及MapReduce的运行原理及过程以及yar ...
分类：
其他好文 时间：
2018-07-16 19:37:58
阅读次数：
186
1.复习Linux hadoop hdfs MapReduce基础知识 2.java操作HDFS文件 ...
分类：
其他好文 时间：
2018-07-16 18:32:20
阅读次数：
220
