概述 本篇介绍多计算节点上的pytorch分布式训练。从环境配置到运行demo的所有步骤，step by step。没有理论原理，理论原理可以参考 "这里" . 基础环境 多台linux计算节点，通过网络连接，不同主机之间可以相互ping通。网速越快越好，如果通信速度比较慢，就不用怎么考虑分布式训练 ...
分类：
其他好文 时间：
2019-09-30 16:24:16
阅读次数：
208
openstack openstack-5computer(计算服务) Compute service overviewnova 是 openstack 最早的组件之一，nova 分为控制节点和计算节点，计算节点通过 novacomputer 进行虚拟机创建，通过 libvirt 调用 kvm 创建... ...
分类：
其他好文 时间：
2019-09-27 10:36:12
阅读次数：
98
海量数据处理 分而治之 核心思想： 把数据分发到多个节点 移动计算到数据附近 计算节点进行本地数据处理 优选顺序，次之随机读 一、HDFS概述 修改，先删除，再重新生成 1.架构 namenode维护着HDFS中存储的文件的元数据，以及每个文件块的列表，以及块所在datanode的信息。nameno ...
分类：
其他好文 时间：
2019-09-22 16:41:19
阅读次数：
92
`TensorFlow` ? markdown 1. 张量(Tensor) N 维数组 2. 流(flow) 基于数据流图的计算 3. 节点(op, operation) 一个op 可以获得0个，或者多个Tensor 翻译： N维数组基于数据流图的计算 ``` ...
分类：
其他好文 时间：
2019-09-19 12:17:54
阅读次数：
113
1.GET 和 POST安全性比较与讨论 两者最基本区别 不同观点 二.最小化重绘和回流 重绘：将渲染树的每个节点都转换为屏幕上的实际像素 回流：计算节点的位置和几何信息，那么当页面布局和几何信息发生变化的时候，就需要回流。 比如以下情况： 添加或删除可见的DOM元素 元素的位置发生变化 元素的尺寸 ...
分类：
其他好文 时间：
2019-09-12 23:23:05
阅读次数：
125
1.1.1. Application/App：Spark应用程序 1.1.2. Driver：驱动程序 1.1.3. Cluster Manager：资源管理器 指的是在集群上获取资源的外部服务，常用的有： 如下图所示: 1.1.4. Worker：计算节点 集群中任何可以运行Application ...
分类：
其他好文 时间：
2019-09-11 09:41:51
阅读次数：
105
根据需求创建脚本，可以快速添加节点#：初始化node节点 [root@node2 ~]# systemctl disable NetworkManager [root@node2 ~]# vim /etc/sysconfig/selinux SELINUX=disabled [root@node2 ... ...
分类：
其他好文 时间：
2019-08-31 17:20:42
阅读次数：
162
redis cluster 数据节点 顺序分区 哈希分区hash(key) % node_count 哈希分区 1.节点取余分区 hash(key) % node_count优点：hash+取余的方式计算节点的分区很简单缺点：当节点伸缩时候，数据节点关系发生变化，导致数据迁移扩容的时候建议翻倍扩容， ...
分类：
其他好文 时间：
2019-08-18 20:03:45
阅读次数：
66
一、服务安装（计算节点）安装软件：# yum install openstack-nova-compute -y编辑/etc/nova/nova.conf文件并设置如下内容：# vim /etc/nova/nova.conf[DEFAULT]enabled_apis = osapi_compute, ...
分类：
其他好文 时间：
2019-08-11 12:58:50
阅读次数：
139
一个K8S系统,通常称为一个K8S集群(Cluster)。 这个集群主要包括两个部分: 一个Master节点(主节点) 一群Node节点(计算节点)，更多Kubernetes知识请参考 https://www.kubernetes.org.cn/k8s ...
分类：
其他好文 时间：
2019-08-09 13:50:15
阅读次数：
102
