码迷,mamicode.com
首页 > 其他好文 > 详细

Arctern Spark单机可视化入门

时间:2020-06-26 22:01:05      阅读:47      评论:0      收藏:0      [点我收藏+]

标签:参考   source   模型   hadoop   net   单机   boot   art   重点   

????Arctern基于开源大数据生态,构建灵活、强大、高性能的时空数据分析平台,帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern Spark单机可视化安装和简单使用

安装和验证

????参考单机安装arctern和在线安装单机spark

一:要注意的地方conda??info是查看当前的 Conda 环境信息,文档里写的conda env info好像是不对的

二:下载时候使用spark使用国内镜像如清华镜像(http://221.182.132.24/mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz;

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz/tmp/fishnetmap.png)

三:验证脚本地址原文中有问题,在arctern-io项目里面找一找,验证通过以后如下图.
https://github.com/arctern-io/arctern/blob/d57c099987dc0a3881ca647b493f335e939219a1/spark/pyspark/examples/gis/spark_udf_ex.py。

技术图片

可视化

????重点是可视化的能力,在arctern-io里面找到了相关的脚本https://github.com/arctern-io/arctern/blob/d57c099987dc0a3881ca647b493f335e939219a1/spark/pyspark/examples/render/nyc_taxi.py,使用了arctern-io的数据https://github.com/arctern-io/arctern-bootcamp/tree/master/nytaxi/file,稍微修改下名字就可以使用。修改bounding_box=[-74.060427, 40.680309, -73.924348, 40.910816],sql中范围ST_GeomFromText(‘POLYGON ((-74.060427 40.680309, -73.924348 40.680309, -73.924348 40.910816 ,-74.060427 40.910816, -74.060427 40.680309))。

技术图片
技术图片
技术图片
技术图片
技术图片
技术图片
技术图片
技术图片

参考资料:

https://arctern.io/docs/versions/v0.2.x/development-doc-cn/html/quick_start/standalone_installation.html

https://arctern.io/docs/versions/v0.2.x/development-doc-cn/html/hide_source/spark/installation_and_deployment/install_arctern_on_spark_cn.html

Arctern Spark单机可视化入门

标签:参考   source   模型   hadoop   net   单机   boot   art   重点   

原文地址:https://www.cnblogs.com/polong/p/13196249.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!