一、安装Spark 1.1 下载并解压 官方下载地址:http://spark.apache.org/downloads.html ,选择 Spark 版本和对应的 Hadoop 版本后再下载: 解压安装包: # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 ...
分类:
其他好文 时间:
2020-06-25 21:47:14
阅读次数:
74
Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案,但又各有特点。前面已经讨论了Hive和Impala,本节先介绍一下SparkSQL,然后从功能、架构、使用场景几个角度比较这三款产品的异同,最后附上分别由cloudera公司和SAS公司出示的关 ...
分类:
数据库 时间:
2020-06-25 21:29:31
阅读次数:
581
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类:
Web程序 时间:
2020-06-25 17:58:43
阅读次数:
54
package com.hadoop.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import jav ...
分类:
其他好文 时间:
2020-06-25 17:46:58
阅读次数:
39
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc ...
分类:
其他好文 时间:
2020-06-25 17:32:46
阅读次数:
65
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类:
其他好文 时间:
2020-06-25 17:29:21
阅读次数:
73
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类:
其他好文 时间:
2020-06-25 17:23:59
阅读次数:
69
package com.hadoop.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import ...
分类:
其他好文 时间:
2020-06-25 17:19:12
阅读次数:
66
启动hbase shell ./bin/hbase shell 1、创建表,查看表 create 'tableName', 'familykey1','familykey2',.... eg. create 'student','info','course'list #查看表 2、查看表信息 des ...
分类:
系统相关 时间:
2020-06-24 23:41:04
阅读次数:
75
前期准备 可以正常联网 jar包准备 hadoop-xxx-src.tar.gz jdk-xxx-xxx-tar.gz apache-ant-xxx-bin.tar.gz apache-maven-xxx-bin.tar.gz protobuf-xxx.tar.gz jar包安装 jdk安装到mod ...
分类:
其他好文 时间:
2020-06-24 19:23:59
阅读次数:
52