想请问下最大熵模型迭代算法最终公式中gis和iis都是一样的啊。我看了opennlp中maxent的java代码,也是这个公式,请教下gis和iis的区别到底在什么地方呢
-----------------gis论文
------------------iis论文
GIS 最早是由 Darroch 和 Ratcliff 在七十年代提出的。但是,这两人没有能对这种算法的物理含义进行很好地解释。后来是由数学家希萨(Csiszar)解释清楚的,因此,人们在谈到这个算法 时,总是同时引用 Darroch 和Ratcliff 以及希萨的两篇论文。GIS 算法每次迭代的时间都很长,需要迭代很多次才能收敛,而且不太稳定,即使在 64 位计算机上都会出现溢出。因此,在实际应用中很少有人真正使用 GIS。大家只是通过它来了解最大熵模型的算法。
八十年代,很有天才的孪生兄弟的达拉皮垂(Della Pietra)在 IBM 对 GIS 算法进行了两方面的改进,提出了改进迭代算法 IIS(improved iterative scaling)。这使得最大熵模型的训练时间缩短了一到两个数量级。这样最大熵模型才有可能变得实用。即使如此,在当时也只有 IBM 有条件是用最大熵模型。
由于最大熵模型在数学上十分完美,对科学家们有很大的诱惑力,因此不少研究者试图把自己的问题用一个类似最大熵的 近似模型去套。谁知这一近似,最大熵模型就变得不完美了,结果可想而知,比打补丁的凑合的方法也好不了多少。于是,不少热心人又放弃了这种方法。第一个在 实际信息处理应用中验证了最大熵模型的优势的,是宾夕法尼亚大学马库斯的另一个高徒原 IBM 现微软的研究员拉纳帕提(Adwait Ratnaparkhi)。拉纳帕提的聪明之处在于他没有对最大熵模型进行近似,而是找到了几个最适合用最大熵模型、而计算量相对不太大的自然语言处理问 题,比如词性标注和句法分析。拉纳帕提成功地将上下文信息、词性(名词、动词和形容词等)、句子成分(主谓宾)通过最大熵模型结合起来,做出了当时世界上 最好的词性标识系统和句法分析器。拉纳帕提的论文发表后让人们耳目一新。拉纳帕提的词性标注系统,至今仍然是使用单一方法最好的系统。科学家们从拉纳帕提 的成就中,又看到了用最大熵模型解决复杂的文字信息处理的希望。
可以参考如下链接
数学之美系列十六 -- 谈谈最大熵模型
http://www.cnblogs.com/KevinYang/archive/2009/02/01/1381798.html
我刚好也有这个问题,看了一下,感觉是GIS中的C是常数,而IIS中可以不是常数。当C为常数时二者是等价的,否则,IIS就会使用牛顿等迭代法进行求解。
可以参考这里https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0ahUKEwjY--6617LJAhXBLIgKHXpgBGAQFggpMAE&url=http%3A%2F%2Ffaculty.washington.edu%2Ffxia%2Fcourses%2FLING572%2FMaxEnt.ppt&usg=AFQjCNFpnx9IIZe8rJIpKPJckGUPCYqXDg&sig2=ZIPQYW_ifzM_CUQ98oc2CQ&bvm=bv.108194040,d.cGU