前面一篇文章提到大数据开发-Spark Join原理详解,本文从源码角度来看cogroup 的join实现 1.分析下面的代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obje ...
分类：
其他好文 时间：
2021-02-16 12:23:59
阅读次数：
0
xpath解析：最常用且最便捷高效的一种解析方式，通用性 -xpath解析原理： -1、实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。 -2、调用etree对象中的xpath方法结合这xpath表达式实现标签的定位和内容的捕获 -环境的安装： -pip install lx ...
分类：
编程语言 时间：
2021-02-16 12:20:18
阅读次数：
0
原题链接 考察:容斥原理+完全背包+计数dp 本蒟蒻是打死都想不到怎么用容斥原理... 错误思路: 乍看一下是多重背包,时间复杂度80*105*103(采用二进制优化)显然T了 正确思路: 采取完全背包预处理的方法,时间复杂度105 ,求出不限数量的取法.答案就是所有取法-不合法的取法.这里就可以想 ...
分类：
其他好文 时间：
2021-02-16 12:06:08
阅读次数：
0
主要内容 1. 使用zookeeper原生 API 实现分布式锁2. 分析Curator实现分布式锁的原理3. 实现带注册中心的RPC框架 使用zookeeper原生 API 实现分布式锁 Synchronized或者Lock zookeeper 、redis、数据库 在使用ZooKeeper进行分 ...
分类：
其他好文 时间：
2021-02-16 11:58:30
阅读次数：
0
Misc之数据编码 常见进制 二进制转万物(ascii/morse/绘图/hex) 工具：010editor 常见编码 Ascii Base base64 编码原理：Base64编码要求把3个8位字节转化为4个6位的字节，之后再6位前补两个0，形成8位一个字节的形式，6位2进制能表示的最大数是2的六 ...
分类：
其他好文 时间：
2021-02-16 11:56:57
阅读次数：
0
多机多卡训练基本原理 在工业实践中，许多较复杂的任务需要使用更强大的模型。强大模型加上海量的训练数据，经常导致模型训练耗时严重。比如在计算机视觉分类任务中，训练一个在ImageNet数据集上精度表现良好的模型，大概需要一周的时间，需要不断尝试各种优化的思路和方案。如果每次训练均要耗时1周，这会大大降 ...
分类：
其他好文 时间：
2021-02-16 11:42:40
阅读次数：
0
承蒙前来宣讲前辈们的指引和各种震天响的牛逼，决定接下来一段时间把CTF一搞起。 然后百度了下各个方向，打算直接搞pwn（听说搞过ACM的上手会快一点？），环境弄好后开始上手，研究一下pwn要怎么搞。 First step 栈溢出原理从入门到放弃 参考资料：www.blog.csdn.net/DRon ...
分类：
其他好文 时间：
2021-02-15 12:13:37
阅读次数：
0
Java 监听文件系统变化 使用Apache Commons-io可以实现，原理也是通过另起一个线程按照固定频率扫描目录。 1.继承FileAlterationListenerAdaptor 重写FileAlterationListenerAdaptor的方法可以快速实现自己想要的功能。包括对子目录 ...
分类：
编程语言 时间：
2021-02-15 12:00:38
阅读次数：
0
next term 1.文化课方面 下学期课比较少，貌似也不难。数据库和数据结构的课设可以很快做完。两门选修：.net 和 深度学习应该也不会太难，每周末根据情况分配时间（一共不超过5个小时）。计算机组成原理、软工、马原多花点时间。 2. 科研方面 暂时不知道会花多少时间，以后补。 3. 竞赛方面 ...
分类：
其他好文 时间：
2021-02-10 13:29:49
阅读次数：
0
转自： http://blog.csdn.net/petrel_zhu/article/details/46756869 在我们身边各类P图工具已经不胜枚举。我们或许已经会使用这类p图工具，但是对其原理却是知之甚少。最近学习了一些图像处理的知识，对其有大概的了解，这次我简单简述下增强图像对比度的方法 ...
分类：
其他好文 时间：
2021-02-10 13:26:27
阅读次数：
0
