背景 目前 机器学习平台 后端采用k8s架构进行GPU和CPU资源的调度和容器编排。总所周知，k8s的后端核心存储使用etcd进行metadata持久化存储。机器学习平台采取[External etcd topology](http://way.xiaojukeji.com/article/Exte ...
分类：
其他好文 时间：
2020-07-15 23:14:34
阅读次数：
90
[root@kunpeng82 sdn-ip-topology]# zebra -d -f quagga-sdn.conf vty_read_config: failed to open configuration file /root/ryu/SDN-IP-Ryu/sdn-ip-topology/ ...
分类：
其他好文 时间：
2020-07-12 20:33:14
阅读次数：
84
一、链接拓扑（network topology）根据后面的协议可以知道，其实就是将所有的slave挂到线上去。（线最长可以多长？） 二、协议（protocol）的时序如下图1） 先说明地址，包的格式是固定的，第一个数据帧就是地址1(说是0也可以)，接下来的数据帧，地址逐渐+1。 2） 1 slot ...
分类：
其他好文 时间：
2020-07-10 19:32:43
阅读次数：
84
1、Tools->deployment->configuration 2、点击左上角的“+”，在弹出窗口填写随便一个名称，选择服务器为sftp 3、输入主机，账号，密码，并在Autodetect选择服务器上的路径，其中SFTP HOST指的是服务器的地址，如192.168.1.10，Root pat ...
分类：
Web程序 时间：
2020-07-05 13:46:33
阅读次数：
63
前端开发的同学编辑器有很多选择，但是很多包括本人还是比较中意webstorm，它的强大之处在这就不多说了，有兴趣的自行百度。 但是在用的过程中经常会提示我们需要激活，网上也能找到一些激活码，但是发现用几天就过期了，又需要重新激活，在此，分享一个连接，自测可用，永久性激活。 https://www.j ...
分类：
Web程序 时间：
2020-06-18 13:23:18
阅读次数：
2032
Spark Streaming 是什么 1、SPark Streaming 是 Spark 中一个组件，基于 Spark Core 进行构建，用于对流式进行处理，类似于 Storm。2、Spark Streaming 能够和 Spark Core、Spark SQL 来进行混合编程。3、Spark ...
分类：
其他好文 时间：
2020-05-29 19:33:56
阅读次数：
53
编写容器内运行的集成测试，需要用到 MongoDB 的 replica set，在程序连接数据库时报了这样的错： server selection timeout, current topology: { Type: ReplicaSetNoPrimary, Servers: Type: RSGho ...
分类：
其他好文 时间：
2020-05-27 12:33:58
阅读次数：
182
题目三：使用Spark Core 统计文件中以spark开头的单词中，每个单词出现的次数（共计30分） spark-core hadoop linux java spark-sql storm html css vue spark spring springboot struts spark-hiv ...
分类：
其他好文 时间：
2020-05-26 22:06:21
阅读次数：
102
KafkaStream概念及初识高层架构图KafkaStream是ApacheKafka从0.10版本引入的一个新Feature，它提供了对存储于Kafka内的数据进行流式处理和分析的功能。简而言之，KafkaStream就是一个用来做流计算的类库，与Storm、SparkStreaming、Flink的作用类似，但要轻量得多。KafkaStream的基本概念：KafkaStream是处理分析存储
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/ ...
分类：
其他好文 时间：
2020-05-23 18:03:51
阅读次数：
49
