Spark 提交应用 Spark’s bin 目录的spark-submit 脚本用于在一个集群上启动应用。它能通过统一的接口使用所有Spark支持的集群管理器。你不必为每个特别配置你的应用。 统一语法如下： ./bin/spark-submit \ --class <main-class> \ - ...
分类：
其他好文 时间：
2020-02-22 13:53:33
阅读次数：
73
ansible是什么？ ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。 ansible的特点 部署简单，只需在主控端部署Ansible环境，被控端无需做任 ...
分类：
其他好文 时间：
2020-02-22 00:00:46
阅读次数：
113
什么是Docker和kubernetes？ Docker：Docker是一个开源的应用容器引擎，开发者可以打包他们的应用及依赖到一个可移植的容器中，发布到流行的Linux机器上，也可实现虚拟化。 kubernetes：是一个开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能 ...
分类：
Web程序 时间：
2020-02-19 17:20:39
阅读次数：
72
常用自动化运维工具： ①CFengine ②Chef ③Puppet ③SaltStack ③Ansible 基于python开发，分布式，无需客户端，轻量级。配置语言采用YAML. Ansible基本架构 Ansible工作原理 Ansible的安装及使用 ①CentOS Linux releas ...
分类：
其他好文 时间：
2020-02-19 12:50:56
阅读次数：
76
docker-machime和compose、swarm被称为docker三剑客。docker-machine是解决docker运行环境问题，之前已经研究过，下面研究compose和swarm。 1.Docker Compose dcoker-compose主要是解决本地docker容器编排问题。当 ...
分类：
其他好文 时间：
2020-02-18 23:26:20
阅读次数：
152
spark核心概念 我们之前介绍了spark的核心RDD，它是spark操作的基本单元。但是对于spark集群来说你还需要它的其它概念，比如我们操作RDD的时候，资源由谁来管理、任务由谁来执行等等。 + + + + + + + + + 东西有点多，我们可以梳理一下。假设我们有一个应用程序：appli ...
分类：
其他好文 时间：
2020-02-18 23:23:35
阅读次数：
169
Problem: new loss Label: new loss; Abstract: A differentiable learning loss; Introduction: supervised learning: learn a mapping that links an input to ...
分类：
其他好文 时间：
2020-02-15 10:10:36
阅读次数：
59
Problem: clustering A clustering network transforms the data into another space and then selects one of the clusters. Next, the autoencoder associated ...
分类：
Web程序 时间：
2020-02-14 22:56:19
阅读次数：
114
Supplementary knowledge: 1. 学科发展是有不平衡性的，站在风口(AI)上，猪都能飞起来。 而能不能站在风口上，是看你自己能力的。 Michael I. Jordan ...
分类：
其他好文 时间：
2020-02-12 18:23:13
阅读次数：
67
From: KU Leuven; ESAT-STADIUS比利时鲁汶大学 ?? How to model real-world multidimensional time series? especially, when these are sporadically observed data. ? ...
分类：
其他好文 时间：
2020-02-12 00:56:56
阅读次数：
82
