码迷,mamicode.com
首页 >  
搜索关键字:spark broadcast    ( 8013个结果
02 使用spark进行词频统计【scala交互】
我们已经在CentOS7中安装了spark,本节将展示如何在spark中通过scala方式交互的进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200,主机名为danji,请读者根据自己实际情况设置 hadoop已经安装完毕并启动 ...
分类:其他好文   时间:2020-03-30 00:07:08    阅读次数:103
大数据平台搭建:Hadoop-3.1.3+Hive-3.1.2+HBase-2.2.3+Zookeeper-3.5.7+Kafka_2.11-2.4.0+Spark-2.4.5
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类:其他好文   时间:2020-03-30 00:06:39    阅读次数:66
PySpark之RDD操作
一、什么是RDD A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, partitioned collection of elements that can b ...
分类:其他好文   时间:2020-03-29 17:56:53    阅读次数:80
python调用接口,python接收post请求接口(附完整代码)
与Scala语言相比,Python有其独特的优势和广泛的应用,python调用接口,因此Spark也推出了PySpark,它在框架上提供了一个使用Python语言的接口,python接收post请求接口为数据科学家使用框架提供了方便。 ...
分类:编程语言   时间:2020-03-29 01:41:51    阅读次数:92
大数据生态圈 —— 单节点伪分布式环境搭建
本文参考 关于环境搭建,imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子,但是有些并没有说明为什么选择这个的版本,我们知道这些开源的技术发展很快,所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类:其他好文   时间:2020-03-28 13:35:54    阅读次数:84
pytorch 数据维度变换
1、view和reshape: * 两者功能完全一样。只是pytorch 0.3版本默认是view,为了和Numpy一致,后来增加了reshape的api * 注意:变换前后的数据大小必须一样 2、squeeze v.s. unsqueeze 1)unsqueeze,将维度展开。 如下图所示: 一维 ...
分类:其他好文   时间:2020-03-28 10:41:22    阅读次数:574
spark history界面incomplete不展示任务的原因
1、背景: 在做spark history complete和incomplete测试的时候,我们使用spark-shell启动了一个on yarn的任务,如果我们只是启动了,没有进行任何计算的话,那么我们在incomplete里面是看读的任务的,退出的时候可以在complete中可以看到,那么为什 ...
分类:其他好文   时间:2020-03-26 21:41:45    阅读次数:142
SQL Server 2019 的亮点总结 Why use SQL Server
微软在Ignite2019大会上正式发布了新一代数据库产品SQLServer2019。使用统一的数据平台实现业务转型SQLServer2019附带ApacheSpark和HadoopDistributedFileSystem(HDFS),可实现所有数据的智能化。SQLServer2019的亮点SQLServer是数据集成的中心。通过SQLserver和Spark为结构化和非结构化数据提供转型洞察力
分类:数据库   时间:2020-03-26 10:48:50    阅读次数:131
Hive的安装部署全过程详细版
首先先简单介绍下hive: Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射成一张数据表,并可以使用类似SQL的方式来对数据文件进行读写以及管理。这套Hive SQL 简称HQL。Hive的执行引擎可以是MR、Spark、Tez。 核心架构: Hive官网地址 http:// ...
分类:其他好文   时间:2020-03-26 01:39:24    阅读次数:93
spark常用提交任务的基本的参数配置
#!/bin/bash #队列名 根据yarn的队列提交 realtime_queue=root #提交的任务名 my_job_name="OrderQZ" spark-shell --master yarn --deploy-mode client \ --queue $realtime_queu ...
分类:其他好文   时间:2020-03-26 01:02:34    阅读次数:81
8013条   上一页 1 ... 48 49 50 51 52 ... 802 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!