Hadoop 默认模式为单机(非分布式模式)，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。 1、创建用户 1.1创建hadoop用户组和用户 一般我们不会经常使用root用户运行hadoop,所以需要创建一个平常运行和管理hadoop的用户; 有2种方式，选择任意一种即可 ...
分类：
其他好文 时间：
2017-09-02 16:54:23
阅读次数：
335
Hadoop 2.x 部署 * Local Mode * Distributed Mode * 伪分布式 一台机器，运行所有的守护进程， 从节点DataNode、NodeManager * 完全分布式 有多个从节点 DataNodes NodeManagers 配置文件 $HADOOP_HOME/e ...
分类：
其他好文 时间：
2017-08-08 09:27:17
阅读次数：
171
Jetty 更加节省内存，简单。小巧配置比較简单功能可插拔，不须要的功能能够拿掉，以节省内存，比方session处理器基于Handler的架构，扩展简单，方便对其进行二次开发适合嵌入到小设备中，比方手机和机顶盒能够方便地嵌入到应用中，比方Hadoop、Solr都是自带了jetty作为webserve ...
分类：
其他好文 时间：
2017-05-29 19:18:53
阅读次数：
328
部署Hadoop高性能集群服务器概述1）Hadoop是什么Hadoop是Lucene创始人DougCutting，根据Google的相关内容山寨出来的分布式文件系统和对海量数据进行分析计算的基础框架系统，其中包含MapReduce程序，hdfs系统等。Hadoop包括两大核心，分布式存储系统和分布式计算系统。2）分布..
分类：
其他好文 时间：
2017-05-16 15:06:05
阅读次数：
316
【大数据】Splunk企业级运维智能&大数据分析平台新手入门视频课程
讲师：张文星
本课程系Splunk入门系列课程，实战为主，实战中穿插相关概念和理论。课程包括Splunk基础知识、安装部署、...
分类：
其他好文 时间：
2017-03-18 21:34:48
阅读次数：
257
准备条件：部署hadoop集群部署spark集群安装python（本人安装的是anaconda3,python是3.6）配置环境环境变量：vi.bashrc#添加如下内容
exportSPARK_HOME=/opt/spark/current
exportPYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.10.4-src.zipps：spark里面会自..
分类：
数据库 时间：
2017-03-10 19:26:13
阅读次数：
1637
前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的组件的环境,并提供维护和监控的功能. 作为新手,我讲讲我自己的学习经历,刚刚开始学习的时 ...
分类：
其他好文 时间：
2017-02-08 10:35:16
阅读次数：
570
为了学习Hadoop生态的部署和调优技术，在笔记本上的3台虚拟机部署Hadoop集群环境，要求保证HA，即主要服务没有单点故障，能够执行最基本功能，完成小内存模式的参数调整。 ...
分类：
其他好文 时间：
2016-12-17 02:14:27
阅读次数：
201
刀片服务器、SAN、虚拟化技术“螺旋式前进”这种东西存在于各个领域，在大规模数据存储与处理上，一样如此。曾经，当管理人员购买服务器的时候，如需更高的性能，则会购买更高配置的服务器，这种做法称之为“纵向扩展(Scaleup)”；后来当我们意识到纵向扩展会带来更高的开销时..
分类：
其他好文 时间：
2016-12-16 20:00:15
阅读次数：
173
开始接触Hadoop，听人说一般都是在Lunix下部署Hadoop，但是本人Lunix不是很了解，所以Google以下如何在Win10下安装Hadoop（之后再在Lunix下弄），找到不少文章，以下是主要参考的文章： 1、Hadoop installation on windows without ...
