伪分布式只需要一台服务器就可以完成，搭建集群之前需要selinux和防火墙 1.安装java并配置环境变量 [root@node1 ~]# tar -xf jdk-8u144-linux-x64.gz -C /usr/ [root@node1 ~]# ln -sv /usr/jdk1.8.0_144 ...
分类：
其他好文 时间：
2020-02-22 15:33:28
阅读次数：
79
1.问题描述：在调试mapreduce辅助排序（二次排序）的过程中，运行程序总是报错 Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@1398c56java.lang.Nu ...
分类：
编程语言 时间：
2020-02-19 01:00:54
阅读次数：
103
说起国际的Hadoop认证必须提Hadoop商业化的三家马车：Hortonwork、Cloudera和MapR。Hortonwork、Cloudera合并之后由于版本的不同目前的考试认证还是分离的，如果你目前需要一个大数据方面的认证，那真的可以了解一下Cloudera。Cloudera总共4门认证，三门CCA，分别为CCA131、CCA159、CCA175；一门CCPDE。这四门认证是没有等级关系
分类：
其他好文 时间：
2020-02-17 17:56:00
阅读次数：
103
Hadoop和Apache Spark究竟有什么异同。 解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不 ...
分类：
其他好文 时间：
2020-02-12 00:20:53
阅读次数：
86
package cn.itcast.hadoop.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache. ...
分类：
其他好文 时间：
2020-02-02 23:19:55
阅读次数：
98
因为想要通过hive作为数据库来保存爬取后和处理完成的数据，需要添加spark的hive支持，这方面还没编译完，所以今天暂时没有这方面的进度，所以写写SparkSteaming。 数据的价值随着时间的流逝而减少 这也正是MapReduce的使用范围所产生的的极大弊端，没法应对大流量的实时数据，MR这 ...
分类：
其他好文 时间：
2020-02-02 21:59:34
阅读次数：
95
2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性，而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS（分布式文件系统） Mapreduce（分布式计算框架） map函数 Reduce （函数） YAR ...
分类：
其他好文 时间：
2020-02-02 21:55:13
阅读次数：
73
spark 1. Spark的四大特性 1. 速度快 spark比mapreduce快的两个原因 1. 基于内存 2. 进程与线程 2. 易用性 1. 可以用java、scala、python、R等不同的语言来快速编写spark程序 3. 通用性 4. 兼容性 1. spark程序有多种运行模式 s ...
分类：
其他好文 时间：
2020-01-29 10:40:55
阅读次数：
58
JDK的安装 JDK使用root用户安装 上传安装包并解压 配置环境变量 验证Java版本 配置配置ssh localhost 检测 正常情况下，本机通过ssh连接自己也是需要输入密码的 生成私钥和公钥秘钥对 将公钥添加到authorized_keys 赋予authorized_keys文件600的 ...
分类：
其他好文 时间：
2020-01-26 19:25:35
阅读次数：
94
