标签：移植 lin 入门 app 地方 读取 examples BMI dag
文章作者：luxianghao
文章来源：http://www.cnblogs.com/luxianghao/p/9010748.html 转载请注明，谢谢合作。
免责声明：文章内容仅代表个人观点，如有不当，欢迎指正。
---
一 引言
2016年2月Google宣布将Beam（原名Google DataFlow）贡献给Apache基金会孵化，成为Apache的一个顶级开源项目。
Beam是一个统一的编程框架，支持批处理和流处理，并可以将用Beam编程模型构造出来的程序，在多个计算引擎（Apache Apex, Apache Flink, Apache Spark, Google Cloud Dataflow等）上运行。
大数据起源于Google 2003年发布的三篇论文GoogleFS、MapReduce、BigTable，史称三驾马车，可惜Google在发布论文后并没有公布其源码，但是Apache开源社区蓬勃发展，先后出现了Hadoop，Spark，Apache Flink等产品，而Google内部则使用着闭源的BigTable、Spanner、Millwheel，但他们殊途同归，这次Google没有发一篇论文后便销声匿迹，而是高调的开源了Beam，所谓“一流公司定标准”，开源的好处也是相当的多，如提高公司影响力，集思广益，共同维护等。
二 Beam优势
1 统一
Beam提供统一的编程模型，编程指导可以参考官方的programming-guide ，通过quickstart-java和wordcount-example入门。
2 可移植
编程人员coding的时候基本不需要关注将来代码会运行到Spark、Flink或者其他计算平台上，coding完成后再通过命令行选择计算平台。
3 可扩展
如在2 可移植中所写，已经展示了DirectRunner和SparkRunner，在Beam中，Runner，IO链接器，转换操作库，甚至SDK都是可以自己定制的，具有高度的扩展性。
4 支持批处理和流处理
不管将来编程人员用Beam写的程序是用于批处理还是流处理，用于有限的数据集还是无限的数据集，用Beam写的程序都可以不修改的执行。（Beam通过引入triggering，windows的概念来解决这个问题）
5 高度抽象
Beam用DAG（directed acyclic graph）进行了高度的抽象，编程人员不需要将其代码强制构造成Map-Shuffle-Reduce的形式，可以直接进行更高级别的操作，如counting, joining, projecting。
6 多语言支持
目前官方支持了Java和Python，后面会有更多语言的SDK开发出来
三 Beam构成
先来一个整体框架图
1 Beam编程模型
Beam的编程模型是Google的工程师从MapReduce, FlumeJava, 和Millwheel等多个大数据处理项目中抽象出来的，如果想详细了解可以参考相关的报考和论文，Streaming 101，Streaming 102 和VLDB 2015 paper.。这个编程模型主要包括如下几个核心概念：
其中PTransform还包括很多操作，如：
此外还有一些核心概念，如：
Beam的编程模型可简单概括为
[Output PCollection] = [Input PCollection].apply([Transform])
Google工程师还把做Beam编程时的场景抽象成四个问题，就是WWWH
即做什么计算，对应的抽象概念为PTransform
即在哪个时间范围内计算，对应的抽象概念为Window
即在何时输出计算结果，对应的抽象概念为Watermarks和Triggers
即怎么提取相关的数据，对应的抽象概念为Accumulation
备注：此处的翻译是参考Streaming 102得来的，可能单纯按照字面翻译并不能达到预期的效果，如有不合适的地方欢迎指正。
2 SDK
Beam支持用多种语言的SDK来构造Pipeline，当前已经支持Java和Python，相对而言，对Java的SDK支持会更好一些。
3 Runner
Beam支持将Pipeline运行在多个分布式后端，目前支持如下的PipelineRunners：
四 例子
通过官方的wordcount的例子来实际体验下Beam，详细可参考quickstart-java和wordcount-example。
1 获取相关代码
mvn archetype:generate -DarchetypeGroupId=org.apache.beam -DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples -DarchetypeVersion=2.1.0 -DgroupId=org.example -DartifactId=word-count-beam -Dversion="0.1" -Dpackage=org.apache.beam.examples -DinteractiveMode=false
2 相关文件
$ cd word-count-beam/ $ ls pom.xml src $ ls src/main/java/org/apache/beam/examples/ DebuggingWordCount.java WindowedWordCount.java common MinimalWordCount.java WordCount.java
3 使用DrectRunner执行
mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount -Dexec.args="--inputFile=pom.xml --output=counts" -Pdirect-runner -Xdebug
4 提交到Spark
方式1
mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount -Dexec.args="--runner=SparkRunner --inputFile=pom.xml --output=counts" -Pspark-runner
方式2
spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-bundled-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts
方式3
spark-submit --class org.apache.beam.examples.WordCount --master yarn --deploy-mode cluster word-count-beam-bundled-0.1.jar --runner=SparkRunner --inputFile=/home/yarn/software/java/LICENSE --output=/tmp/counts
SparkRunner详情参考这里，其中方式3读取HDFS文件的时候会有些问题，这个问题我们在这里会讲到，上面的例子里可以写物理机上实际存在的文件，这样可以保证相关程序正常运行。
五 参考资料
编程指南 https://beam.apache.org/documentation/programming-guide
例子 https://beam.apache.org/get-started/wordcount-example/
Javadoc https://beam.apache.org/documentation/sdks/javadoc/2.1.0/
streaming-101 https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-101
streaming-102 https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-102
标签：移植 lin 入门 app 地方 读取 examples BMI dag
原文地址：https://www.cnblogs.com/luxianghao/p/9010748.html
