ADL100(2)-Wuwei-检索式对话

标签：query   enc   rac   mod   acl   信息   方向   super   ini   

1. 检索

　　1）（单轮回复选择）匹配模型

　　　　a. sentence 生成定长向量 进行匹配 f(g(Q), g(R))

　　　　　　f和g各种变种

　　　　　　f: MLP Neural Tensor Cosine

　　　　　　g: CNN LSTM+Att 

　　　　b. query 与 candidate response 匹配

　　　　　　g: Interaction Representation(Att / Sim)

　　　　c. 效力和效率

　　2）多轮回复选择

　　　　a. 挑战：

　　　　　　层次结构：word->utterance->session

　　　　　　信息冗余

　　　　　　逻辑：句子的顺序？词句长期依赖，适合句子的约束

　　3）knowledge enhanced

　　方向：deep wide pre-training ->  hhh yes

　　Learning method

　　　　from unlabelled data （weak supervision） （acl 18）

　　　　denoise with Peer （co-teaching） (两个网络互相加权，互相trach acl19)

　　　　　　teach with dynamic margin

　　　　　　teach with dynamic instance weight

　　　　　　teach with dynamic data curriculum(选高置信度的)

　　Summary:

　　　　matching model

　　　　two framework

　　　　　　vec -> match

　　　　　　rep -> math -> aggregation

　　　　external knowledge

　　　　Deep, wide(better representation), learning method

ADL100(2)-Wuwei-检索式对话

标签：query   enc   rac   mod   acl   信息   方向   super   ini   

原文地址：https://www.cnblogs.com/zh-liu/p/ADL100-2-Retrival-Chat.html