1、KDC 添加用户 ，输入密码 HTTP@HADOOP.COM 2、客户机（linux），kerberos客户端安装 3、客户机（linux），kerberos客户端配置 4、关闭客户机防火墙 systemctl stop firewalld.service 5、配置客户机host文件 6、客户机 ...
分类：
其他好文 时间：
2020-06-08 12:55:03
阅读次数：
154
翻译自http://cola.gmu.edu/grads/gadoc/SDFdescriptorfile.html 使用GrADS阅读NetCDF和HDF文件 NetCDF和HDF格式的文件被称作自描述文件(self-describing file, SDF)，因为数据和元数据一块保存在同一个文件中 ...
分类：
Web程序 时间：
2020-06-03 23:34:58
阅读次数：
121
第1章 Kafka概述 1.1 消息队列 1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是 ...
分类：
其他好文 时间：
2020-05-30 19:39:36
阅读次数：
63
在数字经济时代，互联网、智能设备和其他形式的信息技术的爆炸性增长使数据以同样令人印象深刻的速度增长。可以记录企业管理的各个阶段，也可以记录产品销售的各个环节，收集客户的消费行为和在线行为。数据已成为重要的生产要素。通过数据的收集、存储、整理、分析和建模，数据隐藏的重要价值和规律逐渐显现出来，成为企业转型、升级和可持续发展的重要动力。大数据分析建模是大数据应用的核心和重要基础，已成为科技界和企业
分类：
其他好文 时间：
2020-05-21 19:53:27
阅读次数：
94
基本摘自网上给自己做一记录，如有错误请斧正 CombineFileInputFormat是一个抽象类。Hadoop提供了两个实现类CombineTextInputFormat和CombineSequenceFileInputFormat。 其继承关系如下： InputFormat >FileInpu ...
分类：
其他好文 时间：
2020-05-16 17:13:54
阅读次数：
87
Eclipse连接不上虚拟机上的hdfs，一直显示Listing folder content，如下图所示： 要做到以下三点： 1. 本身就还没创建输入和输出目录，此时要在hdfs上建个文件夹 。 #bin/hdfs dfs -mkdir –p /user/hadoop/input #bin/hdf ...
使用truncate仅可删除内部表数据，不可删除表结构 truncate table 表名 （truncate可删除所有的行，但是不能删除外部表） 使用shell命令删除外部表 hdfs -dfs -rm -r 外部表路径 使用 drop 可删除整个表 drop table 表名 ...
分类：
其他好文 时间：
2020-03-28 20:08:48
阅读次数：
72
之前用java做Hadoop相关项目没有遇到这种问题，今天使用python操作HDFS遇到这个问题，首先是权限之类的问题，在core site.xml中配置可以访问的hosts和groups， 具体： 注意xxx是管理用户名，然而我配置之后仍然出现not allowed错误，心想如果是我连接的这个用 ...
分类：
其他好文 时间：
2020-03-28 13:19:33
阅读次数：
72
原文链接： https://www.toutiao.com/i6765677128022229517/ PV 是Page Views的缩写，即页面浏览量，用户每一次对网站中的每个网页访问均被记录一次。注意，访客每刷新一次页面，pv就增加一次。 我们目前的数据是： 其中的数据我们会得到标注 根据标注我 ...
分类：
编程语言 时间：
2020-03-20 00:55:17
阅读次数：
88
pyspark可用于读取textfile格式的hive表格。 1. 查看hive表的属性方法（在hive或者spark-sql命令行均可）： 查询建表信息： show create table database_name.table_name; 查询表的属性信息 (可看到表的格式信息例如，Input ...
分类：
其他好文 时间：
2020-03-14 20:06:06
阅读次数：
166
