Sqoop 本文所使用的Sqoop版本为1.4.6 1.官网 ...
分类：
数据库 时间：
2019-01-05 20:06:25
阅读次数：
156
数据采集：采用Flume收集日志，采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上 消息系统：可以加入Kafka防止数据丢失 实时计算：实时计算使用Spark Streaming消费Kafka中收集的日志数据，实时计算结果大多保存在Redis中 机器学习：使用了Spark MLlib ...
分类：
其他好文 时间：
2019-01-04 14:49:53
阅读次数：
154
1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 数据预处理：定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术：基于hadoop之上的Hive 4) 数据导出：基于hadoop的sqoop数据导入导出工具 5) 数据可视化：定制开发web程序或使用kettle ...
分类：
其他好文 时间：
2019-01-02 23:28:02
阅读次数：
243
环境: hadoop-2.7.5 sqoop-1.4.7 zookeeper-3.4.10 hive-2.3.3 (使用mysql配置元数据库) jdk1.8.0_151 oracle 11.2.0.3.0 经过一番baidu,总算初步成功,现在记录一下中间过程. 1.拷贝hive/conf/hiv ...
分类：
数据库 时间：
2018-12-24 03:01:23
阅读次数：
232
#!/bin/bash #################################### code review heguoxiu@berchina.com 20170504# System Name : 大数据智慧分析平台# Author : heguoxiu# Description : ...
分类：
数据库 时间：
2018-12-14 20:00:18
阅读次数：
166
Flink视频教程_基于Flink流处理的动态实时电商实时分析系统课程分享地址链接:https://pan.baidu.com/s/1cX7O-45y6yUPT4B-ACfliA密码:jqmk在开始学习前给大家说下什么是Flink？1.Flink是一个针对流数据和批数据的分布式处理引擎，主要用Java代码实现。2.ApacheFlink作为Apache的顶级项目，Flink集众多优点于一身，包括快
分类：
其他好文 时间：
2018-12-07 13:01:22
阅读次数：
238
Flink视频教程_大数据Flink教程下载课程下载：https://pan.baidu.com/s/1LXm9W30jt4sufJvJakx5Dw提取码：mazb本课程将基于真实的电商分析系统构建，通过Flink实现真正的实时分析，该系统会从无到有一步一步带大家实现，让大家在实操中快速掌握Flink技术。课程所涵盖的知识点包括Flink、Kafka、Flume、Sqoop、SpringMVC、R
分类：
其他好文 时间：
2018-12-07 12:08:21
阅读次数：
324
Flink视频教程_大数据Flink教程下载课程下载：https://pan.baidu.com/s/1LXm9W30jt4sufJvJakx5Dw提取码：mazb本课程将基于真实的电商分析系统构建，通过Flink实现真正的实时分析，该系统会从无到有一步一步带大家实现，让大家在实操中快速掌握Flink技术。课程所涵盖的知识点包括Flink、Kafka、Flume、Sqoop、SpringMVC、R
分类：
其他好文 时间：
2018-12-07 11:46:14
阅读次数：
208
Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Spark、 Hbase、Zookeeper、Sqoop,简化了大数据 ...
分类：
其他好文 时间：
2018-12-05 22:26:39
阅读次数：
290
本项目是基于Spark MLLib的大数据电商推荐系统项目，使用了scala语言和java语言。基于python语言的推荐系统项目会另外写一篇博客。在阅读本博客以前，需要有以下基础：1.linux的基本命令2.至少有高中及以上的数学基础。3.至少有java se基础，会scala语言和Java
EE更佳(Jave EE非必需，但是可以帮助你更快理解项目的架构)。4.有github账户，并且至少知道git clone，fork，branch的概念。5。有网络基础，至少知道服务器端和客户端的区别。6.有大数据基础，最好会Hadoop,HDFS,MapReduce,Sqoop,HBase,Hive,Spark，Storm。7.有mysql数据库基础，至少会最基本的增删改查。
分类：
其他好文 时间：
2018-12-03 20:00:55
阅读次数：
697
