1.独立模式(standalone|local) nothing! 本地文件系统。 不需要启用单独进程。 2.pesudo(伪分布模式) 等同于完全分布式，只有一个节点。 SSH: //(Socket), //public + private /server : sshd ps -Af | grep ...
分类：
其他好文 时间：
2019-09-03 22:18:44
阅读次数：
109
1大数据概率大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息增长。主要解决海量的存储和海量数据的分析计算问题。1.1大数据的特点Volume（大量）Velocity（高速）Variety（多样）Value（低价值密度）1.2大数据应用场景物流仓储：大数据分析系统助力商家精细化运营、提
分类：
其他好文 时间：
2019-08-31 09:13:55
阅读次数：
115
[toc] 大纲 机器环境及SSH预处理 hadoop安装部署 〇、Hadoop下载地址 采用apache官网下载地址进行下载 apache索引目录 "Index of /dist" 此处使用了 hadoop 3.1.2.tar.gz 一、分配机器环境 共3台机器 172.23.7.9 172.23 ...
分类：
其他好文 时间：
2019-08-22 23:41:15
阅读次数：
107
Spark大数据平台有使用一段时间了，但大部分都是用于实验而搭建起来用的，搭建过Spark完全分布式，也搭建过用于测试的伪分布式。现在是写一遍随笔，记录一下曾经搭建过的环境，免得以后自己忘记了。也给和初学者以及曾经挖过坑的人用作参考。 Hive on Spark是Hive跑在Spark上，用的是Sp ...
分类：
其他好文 时间：
2019-08-10 21:07:25
阅读次数：
138
实现步骤 1.准备三台虚拟机，01作为主节点，02、03作为从节点。（把每台虚拟机防火墙都关掉，配置免密码登录，配置每台的主机名和hosts文件。） 2.01节点上安装和配置：Hadoop+Hbase+JDK+Zookeeper 3.02、03节点上安装和配置：Hbase+JDK+Zookeeper ...
分类：
其他好文 时间：
2019-08-07 17:37:26
阅读次数：
116
hadoop集群安装模式 1）单机模式 直接解压，无需任何配置。主要用于测试代码。没有分布式文件系统。 2）伪分布式 完全分布式的一种形式，只是所有的进程都配置要一个节点上。有分布式文件系统，只不过是这个文件系统只有一个节点。 3）完全分布式 包含主节点和从节点，主节点namenode只有一个（一般 ...
分类：
其他好文 时间：
2019-08-01 09:43:21
阅读次数：
117
第一部分：Linux环境安装 Hadoop是运行在Linux，虽然借助工具也可以运行在Windows上，但是建议还是运行在Linux系统上，第一部分介绍Linux环境的安装、配置、Java JDK安装等。 第二部分：Hadoop本地模式安装 Hadoop本地模式只是用于本地开发调试，或者快速安装体验 ...
分类：
其他好文 时间：
2019-07-26 19:40:40
阅读次数：
114
一、Hadoop的安装模式有3种 ①单机模式：不能使用HDFS，只能使用MapReduce，所以单击模式主要用于测试MR程序。 ②伪分布式模式：用多个线程模拟真实多台服务器，即模拟真实的完全分布式环境。 ③完全分布式模式：用多台机器（或启动多个虚拟机）来完成部署集群。 二、安装主要涉及以下内容： ① ...
分类：
其他好文 时间：
2019-07-25 00:07:47
阅读次数：
137
搭建环境安装时间同步Yum install -y ntpdate 网络时间同步命了 服务器地址是阿里云ntpdate ntp1.aliyun.com 手动时间同步方式date -s "20190622 12:32:00" #yyyymmdd hh:mm:ss完全分布式服务器namenodesecon ...
分类：
其他好文 时间：
2019-07-22 18:36:25
阅读次数：
133
学习大数据分析与应用课程的首要任务，是先了解统计与建模方法和数据挖掘方法所呈现出来的效果，然后依次学习Excel数据处理及编程、MySQL数据库的简单操作及Hadoop的基础知识。从而为进阶、提高打好基础。基础统计与建模方法演示探索性数据分析演示常用概率分布和渐进性演示置信区间和假设检验演示线性回归模型演示广义线性回归模型演示数据挖掘方法演示分类预测基本流程演示数据预处理演示分类方法演示聚类分析演
分类：
其他好文 时间：
2019-07-20 17:15:41
阅读次数：
121
