码迷,mamicode.com
首页 >  
搜索关键字:初识appache hadoop    ( 13955个结果
HDFS的hadoop和hdfs命令详解
原文链接:https://www.cnblogs.com/zsql/ 本篇主要对hadoop命令和hdfs命令进行阐述,yarn命令会在之后的文章中体现 hadoop fs命令可以用于其他文件系统,不止是hdfs文件系统内,也就是说该命令的使用范围更广可以用于HDFS、Local FS等不同的文件系 ...
分类:其他好文   时间:2021-04-26 13:47:48    阅读次数:0
HBase客户端开发的Java API
HBase客户端开发API 建立连接 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org. ...
分类:编程语言   时间:2021-04-26 13:29:32    阅读次数:0
基于Hadoop的sqoop组件的部署
基于Hadoop的sqoop组件的部署 什么是 Sqoop Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...) 间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres 等)中的 数据导 ...
分类:其他好文   时间:2021-04-26 13:03:24    阅读次数:0
KAFKA测试
kafka功能简单测试 启动zookeeper 启动zk命令: ./zhServer.sh start 启动akfka(注意server.properties的配置) 启动akfka命令:./kafka-server-start.sh /home/hadoop/app/kafka_2.11-0.9. ...
分类:其他好文   时间:2021-04-24 13:16:11    阅读次数:0
Sqoop 的安装使用
1:下载地址 http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2:上传压缩包 scp sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz root@hadoop2:/opt/software 3:解压并重命名 tar - ...
分类:其他好文   时间:2021-04-21 12:09:16    阅读次数:0
RDD编程
一、词频统计: 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() words=lines.flatMap(lambda line:line.sp ...
分类:其他好文   时间:2021-04-20 15:02:06    阅读次数:0
Docker Hadoop 配置常见错误及解决办法
Docker Hadoop 配置常见错误及解决办法 问题1:wordcount运行卡住,hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_.... 解决如下: 1. 修改mapred-site.xml配置,配置文件在Ha ...
分类:其他好文   时间:2021-04-20 14:54:20    阅读次数:0
Redis基础
Redis基础 NoSQL 学名(not only sql) 特点: 存储结构与MySQL这一种关系型数据库完全不同,NoSQL存储的是key-value形式的数据。 NoSQL有很多产品,都有自己的api和语法,以及业务场景。 产品种类: Mongodb Redis Hbase hadoop No ...
分类:其他好文   时间:2021-04-19 14:35:28    阅读次数:0
PySpark第一篇.PySpark简介
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能,因此它开始出现。因此,引入了Apache Spark,因为它可以实时执行流处理,也可以处理批处理。 除了实 ...
分类:其他好文   时间:2021-04-06 15:01:09    阅读次数:0
Hadoop序列化
2.1 序列化概述 1)什么是序列化 序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。 反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化数据,转换成内存中的对象。 2)为什么要序列化 一般来说,“活的”对象只生存在内存里,关机断电 ...
分类:其他好文   时间:2021-04-06 14:52:31    阅读次数:0
13955条   上一页 1 ... 4 5 6 7 8 ... 1396 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!