在spark ml pipeline的特征提取和转换阶段，有一种transformer可以将机器学习训练数据中常见的字符串列（例如表示各种分类）转换为数值索引列，以便于计算机处理。它就是StringIndexer。它支持的索引范围为[0, numLabels)（不支持的会编码为numLabels）， ...
分类：
其他好文 时间：
2020-04-04 09:34:33
阅读次数：
69
1. 业务说：“…… bulabula……，这个需求很简单，怎么实现我不管？” 面对霸气侧漏的业务需求，由于没有大数据知识储备，咱心里没底，咱也不敢问，咱也不敢说，只能静下来默默储备、默默寻觅解决方案。 关注“一猿小讲”公众号的小伙伴们，今天有福啦，因为今天我们将一起跳出系统之外，共同迈入大数据之 ...
分类：
其他好文 时间：
2020-04-04 09:24:57
阅读次数：
80
背景 1）试试本地模式的spark streaming 2）试试yarn模式的spark streaming 1、本地模式的spark streaming 代码如下： package com.hxh import org.apache.spark.SparkConf import org.apach ...
分类：
其他好文 时间：
2020-04-03 19:55:21
阅读次数：
63
FFmpeg 是一个专业的多媒体框架，能够解码、编码、转码、复用、解复用、流式传输、过滤和播放几乎所有格式的媒体文件。 其核心就是 FFmpeg 程序本身，是一个基于命令行的视频和音频处理工具，多用于视频转码、基础编辑（修剪和合并）、视频缩放、后期效果制作等场景。 这里通过一些示例简单地介绍下 ff ...
分类：
其他好文 时间：
2020-04-03 13:46:00
阅读次数：
76
package classifierAlg import config.conf.{sc, spark_session} import config.conf.spark_session.implicits._ import org.apache.spark.sql.functions._ impo ...
分类：
其他好文 时间：
2020-04-03 12:32:15
阅读次数：
282
1.Spark可以读取多种数据源，本实例为读取mysql. 2.准备工作： sacla，idea，mysql-connector-java，版本从：https://mvnrepository.com/获取 3.代码示例： object WordFreq { def main(args: Array[ ...
分类：
数据库 时间：
2020-04-03 11:55:22
阅读次数：
92
package operationMysql import config.conf.{sc, spark_session} import org.apache.spark.sql.DataFrame object readingMysqlOperation { def main(args: Arra ...
分类：
数据库 时间：
2020-04-03 00:21:17
阅读次数：
126
1.环境hadoop-2.6.0 spak2.1.1 scala-sdk-2.11.12 2.maven项目创建 3.pom 4.阿里云settings配置 <?xml version="1.0"?> <settings xsi:schemaLocation="http://maven.apache ...
分类：
其他好文 时间：
2020-04-02 19:37:02
阅读次数：
213
import com.alibaba.fastjson.{JSON, JSONObject} val str="{\"boxId\":\"001\",\"allContent\":[{\"fruitName\":\"apple\",\"weight\":\"1\"},{\"fruitName\":\ ...
分类：
Web程序 时间：
2020-04-02 17:40:49
阅读次数：
104
一：什么是SparkSQL？ （一）SparkSQL简介 Spark SQL是Spark的一个模块，用于处理结构化的数据，它提供了一个数据抽象DataFrame（最核心的编程抽象就是DataFrame），并且SparkSQL作为分布式SQL查询引擎。Spark SQL就是将SQL转换成一个任务，提交 ...
分类：
数据库 时间：
2020-04-02 15:36:01
阅读次数：
88
