当模型需要接受多个模态的数据时，往往需要设计合适的方法让他们能进行信息的融合，Joint embedding是一种较为普遍的思路，即将他们映射到同一个向量空间中，再进行融合。 向量拼接、元素级相乘、做out product得到矩阵、求和。缺点是缺乏表达能力 Multimodal Compact Bi ...
分类：
其他好文 时间：
2019-07-18 19:48:15
阅读次数：
202
4月16日上海国际车展首日，阿里巴巴表示正在研发基于AliOS的车载小程序。同时还展出AI HUD、AI驾驶舱等最新技术，AliOS表示正在构建一个可持续发展的整合平台。 阿里方面表示，作为小程序在车载场景的重要延伸，AliOS车载小程序和支付宝、高德等小程序一样，将采用统一的开发框架和开放标准，依 ...
分类：
微信 时间：
2019-05-10 23:28:24
阅读次数：
176
低资源： 平行语料库：质量不行。 伪数据：用单语语料库单向翻译，构造伪平行语料库 半监督学习 对偶学习：微软的 多任务学习：百度的 谷歌：通用的语言翻译模型 最大期望似然估计 —————————————————————————————————————————————————————————————— ...
分类：
其他好文 时间：
2019-02-15 13:44:45
阅读次数：
361
微软的影片索引器服务（Video Indexer）以多模态主题推理（Multi-modal Topic Inferencing），为使用者提供更直觉的影片分类方法，还能优化其内容探索功能。微软提到，由于影片索引器可以理解媒体中的内部关系，因此比手动标记影片内容更加高效且低成本。
分类：
其他好文 时间：
2019-01-11 18:53:01
阅读次数：
227
摘要：有效图像和句子匹配取决于如何很好地度量其全局视觉 - 语义相似度。基于观察到这样的全局相似性是由图像（对象）和句子（词）的成对实例之间的多个局部相似性的复合聚集，我们提出了一个实例感知图像和句子匹配的选择性多模态长期短期记忆网络（sm-LSTM）。 sm-LSTM在每个时间步包含一个多模式的上... ...
分类：
其他好文 时间：
2017-12-20 20:20:19
阅读次数：
662
今天在网上看到一篇2017年的论文，是关于图像配准的，偏医学图像，主要是讲针对于3D耳蜗医学图像的自动配准的问题，因为现存的技术都是医生使用手动成像进行图像配准和分割，非常耗时，而且耳蜗的体积非常小，结构复杂，这对于多模态耳蜗图像的自动配准来说是一个巨大的挑战。这篇论文提出了一种多模态人耳蜗图像的自 ...
分类：
其他好文 时间：
2017-12-14 03:27:25
阅读次数：
268
本文转自： http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650722318&idx=4&sn=728e8e264ca05f2366d75a27744bb383&chksm=871b1470b06c9d669f9a077f0b41502d ...
分类：
其他好文 时间：
2017-01-15 15:59:30
阅读次数：
317
Heterogeneous Image Features Integration via Multi-Modal Semi-Supervised Learning Model ICCV 2013 本文提出了一种结合多种传统手工设计 feature 的多模态方法，在 label propagation ...
分类：
其他好文 时间：
2016-06-29 23:35:55
阅读次数：
308
