crf

一点也不懂nlp的我

吉布斯分布

• https://blog.csdn.net/tomheaven/article/details/62078935
• http://nebula2.deanza.edu/~lanasheridan/4C/Phys4C-Lecture20.pdf

Hammersley-Clifford_Theorem

• http://read.pudn.com/downloads329/ebook/1447911/Hammersley-Clifford_Theorem.pdf

损失函数

• https://baike.baidu.com/item/%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0

crf

• http://www.hankcs.com/wp-content/uploads/2016/08/%E6%9D%A1%E4%BB%B6%E9%9A%8F%E6%9C%BA%E5%9C%BA%E7%90%86%E8%AE%BA%E7%BB%BC%E8%BF%B0.pdf
• https://people.cs.umass.edu/~wallach/technical_reports/wallach04conditional.pdf
• https://repository.upenn.edu/cgi/viewcontent.cgi?article=1162&context=cis_papers
• https://folk.idi.ntnu.no/helgel/thesis/forelesning.pdf

计算参数的方式

crf 的参数非常多,怎么求呢? 通过最大似然估计

最大似然函数的本质是什么?

本质就是: 已知统计的分布 , 那么我们假定我们统计到的数据是最大可能出现的.那么这个最大的概率对应的参数就是我们想要的参数

拟牛顿法

标注方式

• B（词首），M（词中），E（词尾）和S（单独成词）
• https://www.cnblogs.com/hiyoung/archive/2018/09/25/9703976.html

函数

Y = { B , M , E , S}
X = {今,天,天,气,真, 热}

liner crf 参数求解

• https://www.cnblogs.com/pinard/p/7068574.html

如何训练

• 标注 我们要怎么标注呢? 比如我有两个人民日报的句子

// 句子1 
全总/j  致/v  全国/n  各族/r  职工/n  慰问信/n  
// 句子2
勉励/v  广大/b  职工/n  发挥/v  工人阶级/n  主力军/n  作用/n  ，/w  为/p  企业/n  改革/vn  发展/vn  建功立业/l  

怎么标注呢

下面是例子

// 句子1
全/B 总/E 致/S 全/B 国/E  各/B 族/E 职/B 工/E  慰/B 问/M 信/E
// 句子2
勉/B 励/E  广/B 大E  职/B 工/E  发/B 挥/E  工/B 人/M 阶/M 级/E  主/B 力/M 军/E  作/B 用/E  ，/S  为/S  企/B 业/E  改/B 革/E  发/B 展/E  建/B 功/M 立/M 业/E  

参数估计 $$ P(Y|X) = \frac{P(x,y)}{P(x)} \\=\frac{1}{Z(X)} e^{\sum_{n=1}^{20} n^{2}} $$