大数据概述 一.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超 ...
分类：
其他好文 时间：
2021-03-03 12:14:24
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 ...
分类：
其他好文 时间：
2021-03-02 12:28:59
阅读次数：
0
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
pig Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache的一个项目，由Apache来负责维护，Pig是一个基于 Hadoop的大规模数据分析平台。 Pig为复杂的海量数据并行计算提供了一个简 易的操作和编程接口，这一点和FaceBook开源的Hive ...
分类：
其他好文 时间：
2020-02-17 19:32:25
阅读次数：
122
Hadoop生态架构技术 1、语言基础 Java：掌握javase知识，多理解和实践在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化就可以，不需要深入掌握。 Linux：系统安装（命令行界面和图形界面）、基本命令、网络配置、Vim编辑器、进程管理、Shell脚本、虚拟机的菜单熟悉等等 ...
分类：
其他好文 时间：
2020-02-15 00:16:06
阅读次数：
86
数据挖掘 推荐算法(Mahout工具) 一、简介 Apache顶级项目(2010.4) Hadoop上的开源机器学习库 可伸缩扩展的 Java库 推荐引擎(协同过滤)、聚类和分类 二、机器学习介绍 通常问题都归为这几类问题 分类问题 回归问题 聚类问题 推荐问题 三、安装方法 3.1 下载Mahou ...
分类：
编程语言 时间：
2019-09-07 13:38:47
阅读次数：
141
1.稀里糊涂下载 我的集群是hadoop 2.7.3 ，本来想找到对应的mahout版本，但是没有找到。本着安全原则，mahout最新版本是0.14.0，回退一个版本使用0.13.0 mahout地址 2.安装后 一波操作：解压到D：Zoo和配置好环境变量后，运行报错！！！ D:\Zoo\apach ...
分类：
其他好文 时间：
2019-08-17 21:57:08
阅读次数：
159
最 近这两年推荐系统特别火，本文搜集整理了一些比较好的开源推荐系统，即有轻量级的适用于做研究的SVDFeature、LibMF、LibFM等，也有重 量级的适用于工业系统的 Mahout、Oryx、EasyRecd等，供大家参考。PS：这里的top 10仅代表个人观点。 #1.SVDFeature ...
分类：
其他好文 时间：
2019-07-23 09:16:16
阅读次数：
199
Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. ...
分类：
其他好文 时间：
2019-06-30 16:00:41
阅读次数：
116
一.?nosql(非关系性数据库): mongoDB hbase redis nulch hive pig mahout zookeeper 二：redis 数据类型 1.存储string: 常用命令： 设置/取值： set key value get key getset key value de ...
分类：
其他好文 时间：
2019-04-13 00:52:24
阅读次数：
149
