标签：过程 未来 img 问题 net sim 度量 data- 生成
最近深度学习两巨头 Bengio 和 LeCun 在 ICLR 2020 上点名 Self-Supervised Learning（SSL，自监督学习） 是 AI 的未来，而其的代表的 Framework 便是 Contrastive Learning（CL，对比学习）。 另一巨头 Hinton 和 Kaiming 两尊大神也在这问题上隔空过招，MoCo、SimCLR、MoCo V2 打得火热，这和 BERT 之后，各大公司出 XL-Net、RoBerta 刷榜的场景何其相似。
因为归纳偏好的设计更多的是任务相关的，复杂的过程需要非常精心的设计，所以很多工作都开始关注到表示学习上，NLP 最近大火的预训练模型，例如 BERT，就是利用大规模的语料预训练得到文本的好的表示。那么，CV 领域的 BERT 是什么呢？答案已经呼之欲出，就是对比学习。
表示学习算法并不一定要关注到样本的每一个细节，只要学到的特征能够使其和其他样本区别开来就行，这就是对比学习和对抗生成网络（GAN）的一个主要不同所在。
既然是表示学习，那么我们的核心就是要学习一个映射函数 ，把样本
编码成其表示
，对比学习的核心就是使得这个
满足下面这个式子：
这里的 就是和
类似的样本，
就是和
不相似的样本，
这是一个度量样本之间相似程度的函数，一个比较典型的 score 函数就是就是向量内积。
会议：
ICLR
NIPS
ICML
From：https://zhuanlan.zhihu.com/p/141141365
标签：过程 未来 img 问题 net sim 度量 data- 生成
原文地址：https://www.cnblogs.com/emanlee/p/14838591.html
