码迷,mamicode.com
首页 > 其他好文 > 详细

《Deep Propagation Based Image Matting 》

时间:2020-05-02 16:59:28      阅读:62      评论:0      收藏:0      [点我收藏+]

标签:end   alpha   hack   实践   ever   缺点   nova   图像   输入   

《Deep Propagation Based Image Matting 》

  1. For What Question

  2. Innovation point

  3. Implement

  4. The structure of the paper

 

 

一、For What Question

  1. 为了实现基于深度传播的图像遮罩

  2. 以往方法存在的缺点:

    (1)大多数现有的现有的遮罩技术都是基于低层次的成对相似性,而这些往往是通过图像的颜色或者是手工设计的视觉特征来判断的(引出图像的遮罩是个高层次的视觉任务,关联语义分割)
    (2)以往图像遮罩的传播过程是完全独立的,使得它和深度学习无法结合

 

二、Innovation point

  1. 为了处理以上存在的问题,作者提出了一个新奇的基于深度传播的图像遮罩框架,通过一个深度学习的框架将学习到的alpha matte values传播

  2. 与存在的深度学习的遮罩技术的区别:

    作者级联了三大模块:
    (1)deep feature extraction module
    (2)affinity learning module
    (3)alpha matte propagation module
    三大模块都是可微的,即可以进行反向传播
  3. 与其他存在的相关技术相比的几个优点:

    (1)经由深度学习的框架,以数据驱动的方式,来传播语义级的像素相似性(传统的手工设计的相似性无法充分的描述像素间的关系)
    (2)学习到的成对相似性应用到遮罩传播中,要比直接的学习相似性要好
    (3)融合了三大模块
    (4)比起直接的学习alpha matte(前景蒙版),训练时的参数维度要更少

 

三、Implement

  1. 先给出实验的架构图:

    技术图片

  2. 三大模块:

    (1)deep feature extraction module:深度特征提取模块,学习深度图像表示
    分为语义级的特征提取和浅层级的特征提取:
    语义级的特征提取:采用SegNet
    两部分的提取输入都是四通道的矩阵(一个原始三通道图+手工绘制trimap)

    (2)affinity learning module:亲和度学习模块
    亲和度模块的输入是Nn*2(Ts+Tl),每一行存储的是邻域的像素间特征,Nn表示总的邻域像素对,论文中采用的四邻 域。(?)
    亲和度模块通过一个卷积层和指数层计算每一个邻域像素对的值。最终输出一个对称且稀疏的亲和度矩阵。整个过程   都是可微的。
    ?
    (3)alpha matte propagation module:前景蒙版传播模块
  3. alpha matte propagation module:

    该模块归纳为如下公式:技术图片

    α表示alpha matte所有像素的值,ζ=D-W是一个拉普拉斯矩阵,C表示一个对角矩阵,之后作者论证了参数的可微性,使得反向传播学习得以实践。

 

四、The structure of the paper

1、摘要:
(1)提出什么为做什么
(2)我们的方法由什么组成,这些组成部分怎样
(3)我们的实验结果导致了什么
(4)我们方法的优点,特点
2、介绍:
(1)我们处理XXX(眼球血管图像)目的是,大多数实现的方法是怎样(概括)
(2)XXX问题是困难的,因为XXX特点。有很多处理它的方法,列举……
(3)However,
(4)In this paper,巴拉一段;指出自己方法的优点
3、相关工作:
(1)总括主流的方法
(2)概括文献(提出前人不足,后人改进)
(3)我们从哪里收到启发,那些人的不足

 

《Deep Propagation Based Image Matting 》

标签:end   alpha   hack   实践   ever   缺点   nova   图像   输入   

原文地址:https://www.cnblogs.com/KevinSmith/p/12818486.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!