码迷,mamicode.com
首页 > Web开发 > 详细

[Neural Network] {Université de Sherbrooke} C3: Conditional Random Field

时间:2019-05-18 09:57:53      阅读:199      评论:0      收藏:0      [点我收藏+]

标签:ali   ace   big   png   can   other   AMM   only   roo   

http://info.usherbrooke.ca/hlarochelle/neural_networks/content.html

 

 

技术图片

 

these characteristics may come from a word. (hand writting data) 

 

sequence of observation => model the joint distribution over the whole sequence

 

技术图片

 


 

linear chain CRF

 

usually => iid assumption

but for the adjacent positions in a sequence => linear chain CRF

 

 

技术图片

 

first term: from x_k

seconde term: from V matrix

 

 

技术图片

 


context window

 

 

 技术图片

 

 three neural network, weighted by a(0) a(-1) a(+1)

 

 技术图片

 

 alternative: only one NN

 

技术图片

 

 

 技术图片

 

技术图片

 


 

 

computing the partition function

 

技术图片

 

 y‘ ≠ y

 

y_k is the resultant sequence

y‘_k is all the probable sequence

 

the goal here is to calculate Z(X) in polynomial time (dynamic programming)

 

技术图片

if someone gives me y2‘ then we can calculate \alpha_1(y2‘)

技术图片

 

 

技术图片

 

 

技术图片

 

 技术图片

 

 

https://www.spaces.ac.cn/archives/5542/comment-page-1 

 

 技术图片

 

 技术图片

 

 技术图片

advantage function????

 

a = max x_n

V(s) = max_a Q(a|s)

A(a|s) = Q(a|s) - V(s)

 

 

 技术图片

 

 技术图片

 

 技术图片

 

 


 

 

computing marginals

 

 技术图片

 

 


 

 

performing classification

 

 技术图片

 

 技术图片

 

 技术图片

 

技术图片

 

 技术图片

 


 

 

factors, sufficient statistics and linear CRF

 

 技术图片

 

 技术图片

 

 技术图片

 

 


 

 

 

Markov network

 

技术图片

 

 技术图片

 


 

 

factor graph

 

 技术图片

another visualization to get rid of the ambiguity.

 

 

技术图片

 

 


 

 

belief propagation

 

 技术图片

 

 

技术图片

 

 

技术图片

 

 

技术图片

 

[Neural Network] {Université de Sherbrooke} C3: Conditional Random Field

标签:ali   ace   big   png   can   other   AMM   only   roo   

原文地址:https://www.cnblogs.com/ecoflex/p/10884617.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!