标签:bsp sdn 自然语言处理 tag lan 自然语言 频率 有序 结果
Video Analysis 相关领域介绍之Video Captioning(视频to文字描述)
http://blog.csdn.net/wzmsltw/article/details/71192385
基于视频图像的信息:包括简单的用CNN(VGGNet, ResNet等)提取图像(spatial)特征,
用action recognition的模型(如C3D)提取视频动态(spatial+temporal)特征
先验特征:比如视频的类别,这种特征能提供很强的先验信息
基于文本的特征:此处基于文本的特征是指先从视频中提取一些文本的描述,再將这些描述作为特征,来进行video captioning。
这类特征我看到过两类,一类是先对单帧视频进行image captioning,将image captioning的结果作为video captioning的输入特征,
另外一类是做video tagging,将得到的标签作为特征。
基于声音的特征:对声音进行编码,包括BOAW(Bag-of-Audio-Words)和FV(Fisher Vector)等
多模态概念
Multimodal Deep Learning(多模态深度学习)未完待续
http://blog.csdn.net/s2010241013/article/details/51731657
计算机视觉中的词袋模型(Bow,Bag-of-words)
http://www.cnblogs.com/YiXiaoZhou/p/5999357.html
BoW起始可以理解为一种直方图统计,开始是用于自然语言处理和信息检索中的一种简单的文档表示方法。
和histogram 类似,BoW也只是统计频率信息,并没有序列信息。
而和histogram不同的是,histogram一般统计的某个区间的频数,BoW是选择words字典,然后统计字典中每个单词出现的次数。
BoW出现在CV中,如图像分类、图像检索等。其大概过程首先提取图像集特征的集合,
然后通过聚类的方法聚出若干类,将这些类作为dictionary,即相当于words,
最后每个图像统计字典中words出现的频数作为输出向量,就可以用于后续的分类、检索等操作。
BOAW(Bag-of-Audio-Words)受到文本词袋启发 音频处理
http://dynadmic-lab.com/tag/bag-of-audio-words/
FV Fisher Vector 图像启发 音频处理
http://blog.csdn.net/garfielder007/article/details/50768125
GMM、fisher vector、SIFT与HOG特征资料
http://blog.csdn.net/asd8705/article/details/50285641
ICCV2015的”Sequence to Sequence – Video to Text”
CVPR2017上的“Weakly Supervised Dense Video Captioning”
Video Analysis 相关领域介绍之Video Captioning(视频to文字描述)
https://zhuanlan.zhihu.com/p/26730181
Video Analysis相关领域解读之Action Recognition(行为识别)
https://zhuanlan.zhihu.com/p/26460437
Video Analysis 相关领域解读之Temporal Action Detection(时序行为检测)
https://zhuanlan.zhihu.com/p/26603387
知乎专栏很牛掰
https://zhuanlan.zhihu.com/wzmsltw
标签:bsp sdn 自然语言处理 tag lan 自然语言 频率 有序 结果
原文地址:http://www.cnblogs.com/vincentqliu/p/7806832.html