码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop yarn    ( 30860个结果
vue3.0使用ant-design-vue进行按需加载原来这么简单
下载 ui库 yarn add ant-design-vue 默认是全局引入,打包后体积很大, 非常影响首屏加载速度, 按需加载 下载按需加载的插件;推荐使用cnpm cnpm install babel-plugin-import --save-dev 下载在开发环境中 在项目的根目录下创建 ba ...
分类:其他好文   时间:2021-07-29 16:21:44    阅读次数:0
hadoop系列之一问题锦集
1、启动过程中出现Configuration has multiple addresses that match local node's address. Please configure the system with dfs.nameservice.id and dfs.ha.namenode ...
分类:其他好文   时间:2021-07-16 17:32:09    阅读次数:0
数据积压
数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作(full GC--stop the world),就会造成消息在partition中一直存在得不到消费,就会产生数据积压。 所以需要监控系统(kafka的监控系统Eagle),如果出现这种情况,需要尽快处理,虽然后续的spark strea ...
分类:其他好文   时间:2021-07-13 17:40:18    阅读次数:0
MapReduce报错Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio
在使用MapReduce的小测试的时候,Driver类启动,或报下面的错误 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j: ...
分类:编程语言   时间:2021-07-12 18:06:41    阅读次数:0
假期学习——大数据的初步认识
今天学习了大数据的一些基本的概念。 什么是Hadoop: 大数据主要还是解决海量数据的存储和海量数据的分析计算。 大数据的特点:大量、高效、多样(结构化数据和非结构化数据)、低价值密度。 Hadoop的三大发行版本: Apache、cloundera、hortonworks。 当然现在clounde ...
分类:其他好文   时间:2021-07-09 17:52:26    阅读次数:0
在vite2和Vue3中配置Mockjs
在 Vite2 与 Vue3 中使用`Mockjs`时有一些官方文档没有提到的注意点,特意做此记录。 ...
分类:Web程序   时间:2021-07-08 17:44:22    阅读次数:0
基于vuepress搭建博客
在NPM 中安装 npm install -g yarn 安装完成后,你可以测试下自己的版本 yarn --version 安装vuepress (全局安装) yarn global add vuepress # 或者:npm install -g vuepress yarn init初始化项目创建 ...
分类:其他好文   时间:2021-07-05 19:08:37    阅读次数:0
《机器学习Python实现_10_10_集成学习_xgboost_原理介绍及回归树的简单实现》
一.简介 xgboost在集成学习中占有重要的一席之位,通常在各大竞赛中作为杀器使用,同时它在工业落地上也很方便,目前针对大数据领域也有各种分布式实现版本,比如xgboost4j-spark,xgboost4j-flink等。xgboost的基础也是gbm,即梯度提升模型,它在此基础上做了进一步优化 ...
分类:编程语言   时间:2021-07-05 19:03:36    阅读次数:0
IPFS分布式存储全面运用落地之后,FIL币的价值才达到最巅峰。
IPFS分布式存储全面运用落地之后,FIL币的价值才达到最巅峰。恐怕每个人都明白了一个道理,顺势而为,即做事要顺势,不能逆势而行,这样才更容易成功。现实的法则,生存的法则是这样的。?如今,区块链、数字经济也是如此,抓住“机会”,就能被时代潮流推到成功的彼岸,而这一机遇也是 IPFS作为整个区块链唯一 ...
分类:其他好文   时间:2021-07-05 18:21:09    阅读次数:0
[源码解析] 深度学习分布式训练框架 horovod (9) --- 启动 on spark
Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架,在业界得到了广泛应用。本文是系列第九篇,介绍 horovod on spark 如何启动。 ...
分类:其他好文   时间:2021-07-05 17:30:40    阅读次数:0
30860条   1 2 3 4 ... 3086 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!