第0章-课程介绍 第1章-大数据技术概述 第2章-Scala语言基础 第3章-Spark的设计与运行原理 第4章-Spark环境搭建和使用方法 第5章-RDD编程 第6章-Spark-SQL 第7章-Spark-Streaming 第8章-Spark-MLlib ...
分类：
其他好文 时间：
2020-06-10 23:09:12
阅读次数：
145
Spark官网和下载地址 官网 http://spark.apache.org/ spark-2.2.0源码下载链接 http://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0.tgz spark-2.2.0安装包下载连接 http://... ...
分类：
其他好文 时间：
2019-12-03 18:09:14
阅读次数：
98
本文从实践出发，介绍如何在windows环境下搭建scala环境，让你可以使用Spark语言继续自己的大数据之旅，增添一点乐趣。同时指出大部分朋友在初次运行spark-shell会遇到的报错：ERROR Shell： Failed to locate the winutils binary in t... ...
1. 首先要安装java8，参考 【Linux】Linux服务器（centos7）环境搭建java/python3/nginx 2. 然后安装scala 首先下载scala， 解压，然后 在文件末尾添加， 把路径换成自己的解压路径 然后加载新的环境变量并检查是否安装成功 3.下载spark，解压 在 ...
分类：
其他好文 时间：
2018-09-15 20:06:39
阅读次数：
344
引言在上一篇中大数据学习系列之五-----Hive整合HBase图文详解：http://www.panchengming.com/2017/12/18/pancm62/中使用Hive整合HBase，并且测试成功了。在之前的大数据学习系列之一-----Hadoop环境搭建(单机):http://www.panchengming.com/2017/11/26/pancm55/中成功的搭建了Hadoop
分类：
其他好文 时间：
2018-08-21 11:36:16
阅读次数：
207
1. spark安装 $ cd /usr/local $ tar -zxvf spark-1.3.0-bin-hadoop2.4.tgz $ mv spark-1.3.0-bin-hadoop2.4 spark $ vi ~/.bashrc $ source ~/.bashrc $ cd spark ...
分类：
其他好文 时间：
2018-03-19 11:40:23
阅读次数：
185
1. scala安装 $ cd /usr/local $ tar -zxvf scala-2.11.4.tgz $ mv scala-2.11.4 scala $ vi ~/.bashrc $ source ~/.bashrc $ scala -version $ scp -r scala root ...
分类：
其他好文 时间：
2018-03-19 10:55:54
阅读次数：
174
$ cd /usr/local/ $ tar -zxvf zookeeper-3.4.5.tar.gz $ mv zookeeper-3.4.5 zk $ cd $ vi .bashrc $ source .bashrc $ cd /usr/local/zk/conf/ $ mv zoo_sampl ...
分类：
其他好文 时间：
2018-03-19 00:31:30
阅读次数：
196
在spark1上操作 1. 安装hive $ cd /usr/local/ $ tar -zxvf apache-hive-0.13.1-bin.tar.gz $ mv apache-hive-0.13.1-bin hive $ cd $ vi .bashrc $ source .bashrc $ ...
分类：
其他好文 时间：
2018-03-18 20:17:06
阅读次数：
145
在spark1上操作 1. 安装Hadoop $ cd /usr/local $ tar -zxvf hadoop-2.4.1.tar.gz $ mv hadoop-2.4.1 hadoop $ vi ~/.bashrc $ source .bashrc 2. Hadoop配置 $ cd /usr/ ...
分类：
其他好文 时间：
2018-03-18 16:21:38
阅读次数：
165
