【摘要】 external-shuffle-service是Spark里面一个重要的特性,有了它后,executor可以在不同的stage阶段动态改变数量,大大提升集群资源利用率。但是这个特性当前在k8s上并不能很好的运行。让我们来看看,在k8s上要实现这个external-shuffle-serv ...
分类:
其他好文 时间:
2020-02-29 16:18:30
阅读次数:
112
句子相似度可用于实现自动问答系统,本文将带你快速理解并上手实现一种计算句子相似度的算法。 ...
分类:
其他好文 时间:
2020-02-17 14:17:18
阅读次数:
85
最近几年,由于负责的范围的变化。工作逐渐从某个IT领域或者部门,开始关注到整个IT体系的运转和管理。中间也遇到不少困难,同时也有机会去从更高的层面去学习和实践IT治理。文章主要是总结一下我对DevOps相关的理解和认识。 为什么会有DevOps,解决了什么问题: 1. 现代企业其实都是通过IT系统进 ...
分类:
其他好文 时间:
2020-02-09 13:17:44
阅读次数:
110
前情提要:有java和c的基础,需要快速了解JavaScript的语法。 [TOC] 导论 JavaScript 是一种轻量级的脚本语言。所谓“脚本语言”(script language),指的是它不具备开发操作系统的能力,而是只用来编写控制其他大型应用程序(比如浏览器)的“脚本”。 JavaScr ...
分类:
编程语言 时间:
2020-01-24 14:28:38
阅读次数:
98
一、进程、线程、协程的概念 1、进程: 教科书上最经典的一句话解释:——进程是资源分配的最小单位 实质上的理解:——先加载程序A的上下文,然后开始执行A,保存程序A的上下文,调入下一个要执行的程序B的程序上下文,然后开始执行B,保存程序B的上下文。进程的生命周期有调入,执行,保存的过程。 2、线程: ...
分类:
编程语言 时间:
2020-01-15 22:42:33
阅读次数:
91
前言 之前做题都没有感觉,慢慢出去比赛后,打Codeforces,看别的人博客,知乎上的讨论,慢慢的对算法有一些自己的思考。特写是最近看知乎上别人说的Dijkstra利用水流去理解,LCA的学习,感觉自己原来还只是浮在表面的感觉,就是没有真的能做到深入思考,快速理解这些。无论什么算法,如果你能通俗易 ...
分类:
其他好文 时间:
2019-12-12 11:36:58
阅读次数:
84
网上有很多文章讲这个,但是我觉得讲的不够体系,希望我的总结能够让大家快速理解安卓签名到底是个什么。 首先,任何一个名词或者事务的出现一定是要来解决什么问题的,那么安卓签名解决什么问题呢? 场景1: 假设腾讯开发了个应用叫微信,包名(包名就是一个应用在安卓系统的ID)叫做com.wechat 那么现在 ...
分类:
移动开发 时间:
2019-11-14 23:48:38
阅读次数:
490
网络序,主机序学习网络序,主机序总是迷迷糊糊的。需要整理一下。千言万语,不如代码来的实在。哈哈,说干就干。#include<stdio.h>#include<stdlib.h>#include<arpa/inet.h>inthost_order(){unsignedlonga=0x12345678;unsignedchar*p=(unsignedchar*)(&
分类:
其他好文 时间:
2019-10-19 11:20:48
阅读次数:
187
软件工程结对项目分析 上上周,我们完成了个人项目编程。本周,,我们小队诚心合作,众志成城,经历了不懈的努力,最终完成了团队项目。而这次项目,我们也学到了很多。总结如下: 心得体会: 第一次与他人合作编程代码,感觉代码规范性十分重要,良好的代码规范有助于编程效率的提高,帮助我们快速理解代码,完成工作。 ...
分类:
其他好文 时间:
2019-09-28 19:54:50
阅读次数:
78
1. vuex 的作用: vuex其实是集中的数据管理仓库,相当于数据库mongoDB,MySQL等,任何组件都可以存取仓库中的数据。 2. vuex 流程和 vue 类比: 我们看一下一个简单的vue响应式的例子,vue中的 data 、methods、computed,可以实现响应式。 视图通过 ...
分类:
其他好文 时间:
2019-09-17 12:58:58
阅读次数:
105