泛览天下

阅读,看尽天下事

[机器学习入门] 李宏毅机器学习笔记-30 (Sequence Labeling Problem part 2 ;结构化预测-序列标记 part 2)

2022-07-01 19:38:59


这里写图片描述P(x,y) for CRFCRF与HMM其实并没有那么不同,它们的model是一样的,只是在training上有所不同。


[机器学习入门] 李宏毅机器学习笔记-30 (Sequence Labeling Problem part 2 ;结构化预测-序列标记 part 2)

PDF VIDEO

上接 part 1

Sequence Labeling Problem

Outline

这里写图片描述

CRF

CRF同样也要描述P(x,y),P与图中式子成正比。

这里写图片描述

P(x,y) for CRF

CRF与HMM其实并没有那么不同,它们的model是一样的,只是在training上有所不同。

这里写图片描述

紫色部分:如果有10个可能的词性tag,世界上有10000个word的话,s就有10个不同的可能,t就有10000个不同的可能,紫色部分就是Summation 10*10000项,里面每一项就是word t被标示成tag s这件事在x,y这对pair中总共出现的次数。
红色部分:根据现在的model,word t 被取 tag s 的几率取log。

这里写图片描述

为什么可以做这样的转化呢?举个栗子。

这里写图片描述

所以对其他项也可以做几乎一样的转化。

这里写图片描述

如此这般,发现可以吧logP(x,y)写成一大堆两项的相乘。

这里写图片描述

有个地方需要额外注意一下,对应某个纬度的weight ,w是可以与HMM里面的几率相对应的,而且是可以通过exp()做转化的,因为没办法保证所求出来的exp是小于1的,所以不能说相等,而说他们成正比。

这里写图片描述

Feature Vector

就直接记住,CRF的几率就是一个exp下,一个weight 和 一个feature vector的inner products,那么这个feature