码迷,mamicode.com
首页 >  
搜索关键字:scala bigdata 大數據 spark    ( 10680个结果
数据积压
数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作(full GC--stop the world),就会造成消息在partition中一直存在得不到消费,就会产生数据积压。 所以需要监控系统(kafka的监控系统Eagle),如果出现这种情况,需要尽快处理,虽然后续的spark strea ...
分类:其他好文   时间:2021-07-13 17:40:18    阅读次数:0
《机器学习Python实现_10_10_集成学习_xgboost_原理介绍及回归树的简单实现》
一.简介 xgboost在集成学习中占有重要的一席之位,通常在各大竞赛中作为杀器使用,同时它在工业落地上也很方便,目前针对大数据领域也有各种分布式实现版本,比如xgboost4j-spark,xgboost4j-flink等。xgboost的基础也是gbm,即梯度提升模型,它在此基础上做了进一步优化 ...
分类:编程语言   时间:2021-07-05 19:03:36    阅读次数:0
Pytorch的nn.LSTM和Keras中LSTM对比
最近真的要被lstm整蒙了,一直理解不了,比如要3预测1,那么这个1怎么体现呢?? Pytorch: https://blog.csdn.net/BigData_Mining/article/details/104390109 关于输入和输出讲的算比较清楚的了,没有之一。 nn,LSTM输入和输出的 ...
分类:其他好文   时间:2021-07-05 18:17:17    阅读次数:0
[源码解析] 深度学习分布式训练框架 horovod (9) --- 启动 on spark
Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架,在业界得到了广泛应用。本文是系列第九篇,介绍 horovod on spark 如何启动。 ...
分类:其他好文   时间:2021-07-05 17:30:40    阅读次数:0
Spark分析sogou日志, RDD
import com.hankcs.hanlp.HanLPimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.immutable.StringO ...
分类:其他好文   时间:2021-07-02 16:33:14    阅读次数:0
sparkStreaming
import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}// 创建一个本地模式的StreamingContext, 两个工作线程, 1s的批处理间隔//Master要求 ...
分类:其他好文   时间:2021-07-02 16:32:11    阅读次数:0
【推荐系统算法实战】 基于网页的 Notebook:Zeppelin 交互式数据分析Zeppelin简介环境安装快速开始Kotlin 开发者社区
【推荐系统算法实战】 基于网页的 Notebook:Zeppelin 交互式数据分析 如果有一个工具,可以让你在同一个Web页面上写Shell代码,Python代码,Scala代码,你想要么? 如果还可以执行PySpark代码和Spark代码呢?心动了吗? 如果还可以写Hive-SQL,Spark- ...
分类:编程语言   时间:2021-07-02 15:35:46    阅读次数:0
看CarbonData如何用四招助力Apache Spark
摘要:CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用,为 Spark 提供的4个重要功能。 本文分享自华为云社区《Make Apache Spark better with CarbonData》,原文作者:大数据修行者 。 Spark 无疑是一个强大的处理引擎 ...
分类:Web程序   时间:2021-06-30 18:44:44    阅读次数:0
flink-demo2
package cn.irisz.steam import org.apache.flink.api.common.RuntimeExecutionMode import org.apache.flink.streaming.api.scala._ import org.apache.flink.t ...
分类:其他好文   时间:2021-06-29 15:38:43    阅读次数:0
最全负载均衡:算法、实现、亿级负载解决方案详解
01 背景 面对大量用户访问、高并发请求,单机网站可以从软硬件两个方面寻求解决方法: 1、硬件方面:可以使用高性能的服务器、大型数据库,存储设备,高性能Web服务器; 2、软件方面:采用高效率的编程语言(比如Go,Erlang,Scala)等。 但是,当单机容量达到极限时,我们需要考虑业务拆分和分布 ...
分类:编程语言   时间:2021-06-28 20:23:37    阅读次数:0
10680条   1 2 3 4 ... 1068 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!