问题描述： （1）使用Java API创建HDFS文件并写入内容的副本系数为3 （2）使用命令上传至HDFS中的文件副本数为1：举例[hadoop@hadoop000 software]$ hadoop fs -put jdk-8u91-linux-x64.tar.gz / 问题回答： （1）使用J ...
分类：
编程语言 时间：
2021-07-05 16:38:12
阅读次数：
0
如今大数据行业十分火热，本人认为python是比较强大的分析工具，在网易云课堂上学习了python数据分析。做了案例，写下代码分析过程以及分析结论。 以下是电商打折套路的python数据分析项目。 # -*- coding: utf-8 -*- """ Created on Wed Jan 9 15 ...
分类：
编程语言 时间：
2021-07-02 16:39:07
阅读次数：
0
import com.hankcs.hanlp.HanLPimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.immutable.StringO ...
分类：
其他好文 时间：
2021-07-02 16:33:14
阅读次数：
0
import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}// 创建一个本地模式的StreamingContext, 两个工作线程， 1s的批处理间隔//Master要求 ...
分类：
其他好文 时间：
2021-07-02 16:32:11
阅读次数：
0
运行 HDFS 命令，总是出现恼人的 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”... ...
分类：
其他好文 时间：
2021-07-02 16:04:09
阅读次数：
0
【推荐系统算法实战】 基于网页的 Notebook：Zeppelin 交互式数据分析 如果有一个工具，可以让你在同一个Web页面上写Shell代码，Python代码，Scala代码，你想要么？ 如果还可以执行PySpark代码和Spark代码呢？心动了吗？ 如果还可以写Hive-SQL，Spark- ...
分类：
编程语言 时间：
2021-07-02 15:35:46
阅读次数：
0
摘要：CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用，为 Spark 提供的4个重要功能。 本文分享自华为云社区《Make Apache Spark better with CarbonData》，原文作者：大数据修行者 。 Spark 无疑是一个强大的处理引擎 ...
分类：
Web程序 时间：
2021-06-30 18:44:44
阅读次数：
0
HDFS 概述 HDFS的产生背景和定义 HDFS产生背景 解决海量数据的存储问题 需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。 HDFS定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于 ...
分类：
其他好文 时间：
2021-06-30 17:40:30
阅读次数：
0
1.会编程，参考实验 1.1编程实现词频统计基本操作 主函数 public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); //程序运行时参数 String[] o ...
分类：
其他好文 时间：
2021-06-29 16:02:29
阅读次数：
0
1、列出子目录或子文件 hdfs dfs -ls +路径 2、创建目录(-p表示父目录都会创建) hdfs dfs -mkdir -p /001/mydemo/x/y/z hdfs dfs -mkdir /001/mydemo3 /001/mydemo4 /001/mydemo5 3、列出文件夹中的 ...
分类：
其他好文 时间：
2021-06-28 21:04:34
阅读次数：
0
