码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习(2) 自动生成图片描述

时间:2015-04-18 06:24:49      阅读:154      评论:0      收藏:0      [点我收藏+]

标签:

近年来很多机器学习研究者开始尝试从图片中挖掘信息,自动生成该图片的描述:

Google Research 在2011年发布正在开发的新技术,声称能侦察图片,再为图片作出文字描述:该新技术结合了计算机视觉技术(computer vision)和自然语言处理(natural language processing),先以卷积神经网络(Convolutional Neural Network,CNN)技术对影像进行分析,提取影像中的信息,再由递归神经网络(Recurrent Neural Network,RNN)产生文字。

这项工作在2010年以后就已经开始有人研究:

第一篇是CMUAbhinav Gupta的CVPR2009的Oral《Understanding Videos, Constructing Plots - Learning a Visually Grounded Storyline Model from Annotated Videos》通过AND-OR的图模型来叙述视频里面正在发生的运动的各个动作。

第二篇是UIUC的Ali Farhadi写的,发在ECCV2010的poster《Every Picture Tells a Story: Generating Sentences for Images》:通过建立图像到已经人工标记的句子的连线,来给图像标注句子。

第三篇是《Corpus-Guided Sentence Generation of Natural Images》,使用语料集增强系统功能,基本处理步骤:

  (1 )从图片中提取object
  (2 )利用corpus提取出verbs,scenes,prepositions (Syntactic information)
  (3 )利用HMM计算最可能出现的object,verb,scene,preposition
  (4) Generate sentence
 

Reference:

http://info.xitek.com/news/201411/20-165409.html

http://www.zhizhihu.com/html/y2011/2935.html

机器学习(2) 自动生成图片描述

标签:

原文地址:http://www.cnblogs.com/yulele/p/4436483.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!