码迷,mamicode.com
首页 >  
搜索关键字:rdd spark hive hadoop    ( 23938个结果
人脸识别数据集
1、yale 人脸数据库(美国,耶鲁大学) 2、剑桥大学的ORL人脸库 3、 ...
分类:其他好文   时间:2021-05-24 02:58:14    阅读次数:0
记一次部署Hadoop后遭受kthreaddi挖矿病毒
云服务器在部署Hadoop后便被黑了,查看进程发现了kthreaddi占满了CPU。 ...
分类:其他好文   时间:2021-05-24 01:55:01    阅读次数:0
could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.
hdfs dfsadmin -report hadoop fsck -locations ...
分类:其他好文   时间:2021-05-24 01:37:15    阅读次数:0
Hadoop集群管理脚本
这里介绍两个常用的管理hadoop集群的脚本 hadoop集群启停脚本myhadoop.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " 启动 hadoop ...
分类:其他好文   时间:2021-05-04 15:28:54    阅读次数:0
pyspark reduceByKey、groupByKey、groupBy、keyBy、subtractByKey 使用
reduceByKey、groupByKey rdd=sc. parallelize([("one",1),("two",1),("one",1),("one1",1)]) rdd. reduceByKey(lambda x,y:x). count() rdd1=sc. parallelize([( ...
分类:其他好文   时间:2021-04-29 12:20:10    阅读次数:0
Hadoop目录
01.安装VMware,加载centos镜像软件。配置主机、VMware、Windows的IP地址。 02.hadoop中目录介绍:bin目录 hdfs 、mapred、 yarn 命令 etc目录包含hdfs 、mapred、 yarn 相关的配置文件 sbin 目录与集群相关的命令 share目 ...
分类:其他好文   时间:2021-04-29 11:57:44    阅读次数:0
Hadoop组件
#Hadoop 分布式计算平台,同时也是一个生态圈 hadoop 1.X HDFS+MapReducer+Common hadoop 2.X HDFS+MAP+Reducer+Common hadoop 3.X java7->java8,引入纠删码,重写shell脚本,支持超过两个NameNode, ...
分类:其他好文   时间:2021-04-27 15:04:12    阅读次数:0
Hive安装
https://blog.csdn.net/zhouzhiwengang/article/details/88191251 https://blog.csdn.net/qinlan1994/article/details/90524484 ...
分类:其他好文   时间:2021-04-27 14:10:20    阅读次数:0
HDFS的hadoop和hdfs命令详解
原文链接:https://www.cnblogs.com/zsql/ 本篇主要对hadoop命令和hdfs命令进行阐述,yarn命令会在之后的文章中体现 hadoop fs命令可以用于其他文件系统,不止是hdfs文件系统内,也就是说该命令的使用范围更广可以用于HDFS、Local FS等不同的文件系 ...
分类:其他好文   时间:2021-04-26 13:47:48    阅读次数:0
HBase客户端开发的Java API
HBase客户端开发API 建立连接 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org. ...
分类:编程语言   时间:2021-04-26 13:29:32    阅读次数:0
23938条   上一页 1 ... 13 14 15 16 17 ... 2394 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!