hadoop 1.0 1. 创建用户hadoop 2. 下载： curl -o hadoop-1.2.1-bin.tar.gz https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz 3. ...
分类：
其他好文 时间：
2021-06-02 14:05:53
阅读次数：
0
一、大数据分析工具——Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它 ...
分类：
其他好文 时间：
2021-06-02 13:17:23
阅读次数：
0
1,下载 Golang官网下载地址：https://golang.google.cn/dl/ 2,解压到指定目录 3,运行go 获取环境变量修改方法 go help env usage: go env [-json] [-u] [-w] [var ...] Env prints Go environ ...
分类：
其他好文 时间：
2021-06-02 11:10:05
阅读次数：
0
安装准备 Spark 集群和 Hadoop 类似，也是采用主从架构，Spark 中的主服务器进程就叫 Master（standalone 模式），从服务器进程叫 Worker Spark 集群规划如下： node-01：Master node-02：Worker node-03：Worker 安装步 ...
分类：
其他好文 时间：
2021-05-24 17:07:05
阅读次数：
0
启动hive时，show databases; 然后报错： 查看自己的配置文件没有问题(hbase-site.xml中配置的mysql账号信息与mysql账号信息一致)，于是乎看别人的解决方法： 第一种解决办法（失败）[1]： 由于没有初始化数据库导致，执行名称初始化数据库，执行命令： schema ...
分类：
数据库 时间：
2021-05-24 16:48:31
阅读次数：
0
方案一：手动拷贝需要的相关jar包 flume对接HBASE报错，找不到相关的类： 报错hbase相关日志： 18 五月 2021 17:25:50,633 ERROR [lifecycleSupervisor-1-2] (org.apache.flume.lifecycle.LifecycleSu ...
分类：
Web程序 时间：
2021-05-24 15:18:47
阅读次数：
0
1.首先执行以下命令查看可安装的jdk版本： yum -y list java* 2.选择自己需要的jdk版本进行安装，比如这里安装1.8，执行以下命令： yum install -y java-1.8.0-openjdk-devel.x86_64 3.安装完成之后，查看安装的jdk版本，输入以下指 ...
分类：
系统相关 时间：
2021-05-24 11:11:21
阅读次数：
0
安装包也可以关注公众号：一口Linux 后台回复 ：ubuntu 0、环境说明 通常安装1个可以编译ARM汇编代码的linux环境，需要安装以下3个软件： vmware:在该软件中可以安装其他操作系统 ubuntu 16.04：编译程序都在ubuntu中编译 交叉编译器：编译能在开发板上运行的代码， ...
分类：
系统相关 时间：
2021-05-24 09:43:04
阅读次数：
0
典型架构 很多的场景都是如上的，有web（包括无线、以前CS的模式、现在的BS模式等）、DB、cache、数据分析我就用了Hadoop了（代名词，或者泛指数据仓库了），另外就是一些传感器之类的，数据通道（有的简单如：jdbc等，有的比较复杂，保序不丢等），其中也简单列了一些中间件的软件。这张图组成了 ...
分类：
其他好文 时间：
2021-05-24 09:02:34
阅读次数：
0
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() import pandas as pd import numpy as np arr = np.arange(6).reshape(-1 ...
分类：
其他好文 时间：
2021-05-24 08:54:40
阅读次数：
0
