1. 完整的数据流图 由同ip访问的次数： SQL查询 select ip,count(ip) from tablename Group by ip; 基于Hadoop分析 使用Hadoop分析，需要两轮的Mapreduce处理 Hive不支持对数据的更改和添加 ...
分类：
其他好文 时间：
2019-08-17 14:41:26
阅读次数：
143
问题描述：Linux虚拟机内使用hadoop 解决方案： 进入超级管理员，为hadoop用户分配该文件的权限。 完美解决： ...
分类：
编程语言 时间：
2019-07-20 18:36:36
阅读次数：
235
最近都在流行大数据什么的，然后偶然之间加入了一个物联网的小公司，可以使用hadoop 来做数据分析，于是心中窃喜，可以有机会接触大数据了，从此走上人生巅峰赢取白富美。 可是成功的道路总不是一帆风顺滴，从我开始接触这玩意儿，到现在大概有一个多月了，但是我居然还在搭环境。。。我丢你老牟，这个hadoop ...
分类：
其他好文 时间：
2019-07-19 10:50:10
阅读次数：
125
首次使用Hadoop时，格式化文件系统命令：hdfs namenode -format 启动HDFS：start-dfs.sh 启动YARN：start-all.sh start-all.sh等价于start-dfs.sh + start-yarn.sh ...
分类：
其他好文 时间：
2019-06-07 17:54:24
阅读次数：
90
使用 hadoop fsck /g6/input/baidu.log -files -blocks -locations -racks 命令，查看某个文件分成几个块，分别在那台机架的哪个机器上
分类：
其他好文 时间：
2019-05-17 12:12:34
阅读次数：
140
Apache Spark是一个集群计算设计的快速计算。它是建立在Hadoop MapReduce之上，它扩展了 MapReduce 模式，有效地使用更多类型的计算，其中包括交互式查询和流处理。这是一个简单的Spark教程，介绍了Spark核心编程的基础知识。 工业公司广泛的使用 Hadoop 来分析 ...
分类：
编程语言 时间：
2019-05-08 09:17:58
阅读次数：
150
上一节我们使用Java API操作HDFS文件系统创建了文件a.txt并写入了hello hadoop（回顾：https://www.cnblogs.com/Liuyt-61/p/10739018.html） 我们在终端控制台上使用hadoop fs -ls /hdfsapi/test查看a.txt ...
1． Hadoop安装包目录结构 bin：Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。 etc：Hadoop配置文件所在的目录，包括core-site,xml、hdfs-site.xml、mapred-si ...
分类：
其他好文 时间：
2019-03-30 14:59:29
阅读次数：
183
Hadoop Single Node Cluster只以一台机器来建立Hadoop环境，仍然可以使用Hadoop命令，只是无法发挥使用多台机器的威力。 安装JDK 因为Hadoop是以Java开发的，所以必须先安装Java环境。本文是以Ubuntu系统为例 安装前查看java版本 在命令终端输入 j ...
分类：
其他好文 时间：
2019-02-21 17:23:02
阅读次数：
172
要建设企业级大数据可视化分析系统，需要构建企业统一的数据库体系或者直接将已有数据库对接。进行数据建模，为数据分析可视化呈现奠定基础。通过数据分析管理系统，有了数据基础，就可以构建BI大数据智能可视化大屏分析，满足企业的业务需求，提升数据价值。BI大数据智能可视化大屏分析系统建设软件开发的技术实现：1.Hadoop：使用hadoop作为系统的基础框架，对数据进行分布式的存储和分析。HDFS是hado
分类：
其他好文 时间：
2019-01-18 16:23:35
阅读次数：
279
