参数服务器训练基本理论 参数服务器训练是分布式训练领域普遍采用的编程架构，主要解决以下两类问题： 模型参数过大：单机内存空间不足，需要采用分布式存储。 训练数据过多：单机训练太慢，需要加大训练节点,来提高并发训练速度。 如图所示，参数服务器主要包含Server和Worker两个部分，其中Server ...
分类：
其他好文 时间：
2021-02-16 11:42:24
阅读次数：
0
集群划分 192.168.8.121 Rancher-Server、K8S(etcd、control)、Harbor、NFS-Server 192.168.8.122 Rancher-Agent、K8S(worker) 192.168.8.123 Rancher-Agent、K8S(worker) ...
分类：
Web程序 时间：
2021-02-03 11:04:33
阅读次数：
0
JavaScript执行机制 总结 js的异步：我们从最开头就说javascript是一门单线程语言，不管是什么新框架新语法糖实现的所谓异步，其实都是用同步的方法去模拟的，牢牢把握住单线程这点非常重要 javascript是一门单线程语言，在最新的HTML5中提出了Web-Worker，但javas ...
分类：
Web程序 时间：
2021-01-26 12:18:09
阅读次数：
0
1.快速测试和监控，启动多个celery worker，-A 指定项目目录， -P 指定方式，我这里以协程方式运行， -n指定name celery worker -A voice_quality_assurance_configure --loglevel=info -P eventlet -n ...
分类：
其他好文 时间：
2021-01-25 10:45:57
阅读次数：
0
1.准备环境 安装centos7，在此我准备了五个虚拟机，分别命名为L1，L2,L3,L4,L5.计划在L1上面运行Master节点，在L3,L4,L5上面运行Worker节点。网络配置以及ssh免密登陆配置不再详细讲解，请参考我的另外一篇博客：虚拟机网络配置以及准备工作：https://blog. ...
分类：
其他好文 时间：
2021-01-22 11:44:51
阅读次数：
0
深拷贝一般用JSON.parse(JSON.stringify(object))就可以解决了， 也知道这种方法的局限性： 会忽略 undefined 不能序列化函数 不能解决循环引用的对象 因为MessageChannel的postMessage传递的数据也是深拷贝的，这和web worker的po ...
分类：
其他好文 时间：
2021-01-19 12:10:47
阅读次数：
0
Celery支持不同的并发和序列化的手段 并发：Prefork, Eventlet, gevent, threads/single threaded 序列化：pickle, json, yaml, msgpack. zlib, bzip2 compression， Cryptographic mes ...
分类：
其他好文 时间：
2021-01-18 10:52:48
阅读次数：
0
user nginx; #使用linux用户分组执行nginx worker_processes 4;#nginx 启动后的进程数，通常跟服务器的内核挂钩 如：2核4进程 01 10 01 10； 4核2进程 0101 1010；worker_cpu_affinity 0001 0010 0100 ...
分类：
其他好文 时间：
2021-01-18 10:37:56
阅读次数：
0
user root; worker_processes 1; error_log /var/log/nginx/error.log warn; pid /var/run/nginx.pid; events { #use epoll; worker_connections 65535; } http ...
分类：
系统相关 时间：
2021-01-13 10:45:25
阅读次数：
0
默认的config #user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/ngi ...
分类：
其他好文 时间：
2021-01-05 11:39:49
阅读次数：
0
