HDFS配置 参考文档：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html Hadoop配置文件修改 hdfs-site.xml <property> <name>dfs.webhdfs.enabled</nam ...
分类：
其他好文 时间：
2019-08-25 13:58:16
阅读次数：
96
```
# _*_ coding=utf-8 _*_ import sys
import os hosts = {}
cmd1 = '''
curl -i -X PUT "http://%s:50070/webhdfs/v1%s?op=CREATE&user.name=op&overwrite=tr... ...
分类：
Web程序 时间：
2018-11-20 11:42:20
阅读次数：
480
大数据是做什么的?大数据–随着计算机技术的发展,互联网的普及,信息的积累已经到了一个非常庞大的地步,信息的增长也在丌断的加快,随着互联网、物联网建设的加快,信息更是爆炸是增长,收集、检索、统计这些信息越发困难,必须使用新的技术来解决这些问题什么是大数据?大数据的定义–大数据由巨型数据集组成,这些数据集大小常超出人类在可接受时间下的收集、庋用、管理和处理能力。?大数据能做什么?–把数据集合幵后进行分
分类：
系统相关 时间：
2018-07-07 20:25:01
阅读次数：
189
1、安装虚拟机 VMware workstation CentOS 镜像 安装Linux虚拟机：（在Win7上） 1）安装VMwareWorkstations（可修改配置） 2）添加CentOS镜像（启动安装 ->配置网络） 网络配置：NAT模式 网络重启：service network resta ...
分类：
其他好文 时间：
2017-10-01 13:11:47
阅读次数：
213
What is Hue Hue architecture Install and configure Hue on hadoop Tips for some common issues 1. What is Hue Hue is one of Hadoop’s most important proj ...
分类：
Web程序 时间：
2017-07-19 14:27:18
阅读次数：
514
最近工作中是做了一个handoop的hdfs系统的文件浏览器的功能，是利用webhdfs提供的rest api来访问hdfs来与hdfs进行交互的，其中大量使用HttpClient，之前一直很忙，没什么时间来总结，今天闲下来了，可以来好好总结一下这个东西了。 1.HttpClient简介 http协 ...
分类：
Web程序 时间：
2016-11-24 08:28:04
阅读次数：
243
官方的安装指令是:bin/plugininstalllogstash-output-webhdfs但是往往安装不成功，一般就是如下情况，然后卡着不动了:Validatinglogstash-output-webhdfs。。。原因是防火墙挡掉了logstash的默认gemsourcecatGemfile|grepsource
#source"https://rubygems.org"修改gemsource为..
分类：
其他好文 时间：
2016-11-10 21:49:17
阅读次数：
412
1.配置 namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true，否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令，因为这些信息都是由namenode来保存的。 在namenod.....
分类：
Web程序 时间：
2015-10-25 20:40:59
阅读次数：
282
问题{:timestamp=>"2015-03-04T00:02:47.224000+0800", :message=>"Retrying webhdfs write for multiple times. Maybe you should increase retry_interval or re...
分类：
Web程序 时间：
2015-03-04 01:01:25
阅读次数：
550
需求：通过开源软件fluentd收集各个设备的apache访问日志到fluentd的转发服务器中，然后通过webHDFS接口，写入到hdfs文件系统中。软件版本说明：hadoop版本：1.1.2fluentd版本：1.1.21测试环境说明：node29服务器上安装了apache，以及fluentd，作为fluentd的客户端；node1服务..
分类：
其他好文 时间：
2015-01-06 18:16:52
阅读次数：
192
