1:下载地址 http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2:上传压缩包 scp sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz root@hadoop2:/opt/software 3:解压并重命名 tar - ...
分类：
其他好文 时间：
2021-04-21 12:09:16
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() words=lines.flatMap(lambda line:line.sp ...
分类：
其他好文 时间：
2021-04-20 15:02:06
阅读次数：
0
Docker Hadoop 配置常见错误及解决办法 问题1：wordcount运行卡住，hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_.... 解决如下： 1. 修改mapred-site.xml配置，配置文件在Ha ...
分类：
其他好文 时间：
2021-04-20 14:54:20
阅读次数：
0
Redis基础 NoSQL 学名（not only sql） 特点： 存储结构与MySQL这一种关系型数据库完全不同，NoSQL存储的是key-value形式的数据。 NoSQL有很多产品，都有自己的api和语法，以及业务场景。 产品种类： Mongodb Redis Hbase hadoop No ...
分类：
其他好文 时间：
2021-04-19 14:35:28
阅读次数：
0
1:准备三台服务器hadoop2、hadoop3、hadoop4。zookeeper集群部署最好是奇数个节点，目的是增加容错率（集群需要保证半数以上机器正常）和防止脑裂。 2:准备zookeeper压缩包，官网下载地址：http://mirror.bit.edu.cn/apache/zookeepe ...
分类：
其他好文 时间：
2021-04-15 12:08:25
阅读次数：
0
MeterSphere 一站安装部署 环境要求 操作系统: CentOS 7.x CPU/内存: 4核8G 磁盘空间: 50G 可访问互联网 1）一键安装 以 root 用户执行如下命令一键安装 MeterSphere： curl -sSL https://github.com/meterspher ...
分类：
其他好文 时间：
2021-04-14 11:56:25
阅读次数：
0
文档开篇，我还是要说一遍，虽然我在文档内容中也会说好多遍，但是希望大家不要嫌我墨迹： 请多看官方文档，请多看命令行报错信息，请多看日志信息，很多时候它们比百度、比必应、比谷歌有用； 请不要嫌麻烦，打开你的谷歌翻译，去看看英文的文档，虽然它没有中文，虽然你直接看不懂，但它可能是最后帮你真正解决问题的那 ...
分类：
其他好文 时间：
2021-04-12 11:48:59
阅读次数：
0
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能，因此它开始出现。因此，引入了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。 除了实 ...
分类：
其他好文 时间：
2021-04-06 15:01:09
阅读次数：
0
2.1 序列化概述 1）什么是序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 2）为什么要序列化 一般来说，“活的”对象只生存在内存里，关机断电 ...
分类：
其他好文 时间：
2021-04-06 14:52:31
阅读次数：
0
1.1 MapReduce定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 Ma ...
分类：
其他好文 时间：
2021-04-05 12:32:51
阅读次数：
0
