码迷,mamicode.com
首页 > 其他好文 > 详细

CDH6.3.2 集成flink的部署配置

时间:2020-06-22 09:30:23      阅读:415      评论:0      收藏:0      [点我收藏+]

标签:www   程序   基金会   技术   --   编写   集成   下载   tar   

CDH6.3.2 集成flink的部署配置

标签(空格分隔): 大数据平台构建


  • 一:flink的简介
  • 二:cdh6.3.2 集成flink

一:flink的简介

Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行

在 2019 年 10 月于柏林举行的 Flink Forward 活动上,Cloudera 的工程主管 Marton Balassi 和 Field CTO Andrew Psaltis 在大会上宣布,Cloudera 承诺将通过 CSA 产品不断给 Apache Flink 社区做出贡献。

相信 Cloudera 对 Apache Flink 的集成将会为社区带来更多创新、为企业及开发者提供更便捷的操作与更友好的使用体验

二:CDH6.3.2 集成flink

介绍如何在CDH6.3中安装Flink1.9以及运行你的第一个Flink例子,以下是测试环境信息:

1.CM和CDH版本为6.3.2

2.CentOS7.5x64

3.JDK1.8.0_181

4.集群启用Kerberos

5.root用户安装

flink 的parcels 包下载地址:

https://archive.cloudera.com/csa/1.0.0.0

FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel  
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha  

FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar

manifest.json

技术图片

mv FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar /opt/cloudera/csd/

chown cloudera-scm:cloudera-scm -R csd/ -R
cd ..

mv flink /var/wwww/html/

service cloudera-scm-server restart 
service httpd start 

技术图片

CM 增加 parcels 文件  然后从新启动CM

技术图片

技术图片


技术图片

技术图片

技术图片

技术图片


技术图片

第一个Flink例子

1.执行Flink自带的example的wordcount例子。

hdfs dfs -put word.txt /tmp

flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.11.160:8020/tmp/word.txt --output hdfs://192.168.11.160:8020/tmp/result4

技术图片

CDH6.3.2 集成flink的部署配置

标签:www   程序   基金会   技术   --   编写   集成   下载   tar   

原文地址:https://blog.51cto.com/flyfish225/2506216

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!