用户名*
邮箱*
密码*
确认密码*
验证码* 点击图片更换验证码
找回密码
忘记密码了？输入你的注册邮箱，并点击重置，稍后，你将会收到一封密码重置邮件。
说“互信息”的时候，两个随机变量的地位是相同的；说“信息增益”的时候，是把一个变量看成减小另一个变量不确定度的手段。但其实二者的数值是相等的。
“互信息”或者“信息增益”经常作为决策树中选择特征的标准，两种称呼都很常见。
一、两者描述的时空不同
Gain=H（X）-H(X/Y)， 意义是系统分类后增加的信息量（研究同一系统的不同状态）
I（X,Y）=H(X)-H(X/Y)=H(Y)-H(Y/X)，意义就是X与Y之间对应关系的信息量
（研究同一状态下系统中的两个子系统）
二、Y的含义不一样
增益里面Y是分类方式，互信息里面Y是事件
互信息里面的Y，用H（Y）表示，可以通过统计测量概率，并用信息熵公式计算。
但是增益里面的Y，由于是一种分类方式，它的熵要是直接计算，信息论里面没有介绍。
三、两者之间的关系
信息增益是描述前后两种不同状态的信息熵变化，即确定性的增加量，分类本质就是将一个系统中各种元素之间的分类关系（X,Y,Z,……）确定下来。
四、总结
Gain是各元素之间的人为定义的关系信息，I只是两两之间客观关系信息，当然I也能够扩展，通过扩展可以计算得到gain，不论是I还是gain他们都是关系信息，而非事件信息。
信息增益（Kullback–Leibler divergence）和互信息之间的联系，就是互信息可以通过信息增益公式来计算。都是用概率来描述差异或者变化的量。这个只是从公式上来看，如果到具体的应用会有不同的解释。
昵称*
E-Mail*
回复内容*
回复 ( 3 )
说“互信息”的时候，两个随机变量的地位是相同的；说“信息增益”的时候，是把一个变量看成减小另一个变量不确定度的手段。但其实二者的数值是相等的。
“互信息”或者“信息增益”经常作为决策树中选择特征的标准，两种称呼都很常见。
一、两者描述的时空不同
Gain=H（X）-H(X/Y)， 意义是系统分类后增加的信息量（研究同一系统的不同状态）
I（X,Y）=H(X)-H(X/Y)=H(Y)-H(Y/X)，意义就是X与Y之间对应关系的信息量
（研究同一状态下系统中的两个子系统）
二、Y的含义不一样
增益里面Y是分类方式，互信息里面Y是事件
互信息里面的Y，用H（Y）表示，可以通过统计测量概率，并用信息熵公式计算。
但是增益里面的Y，由于是一种分类方式，它的熵要是直接计算，信息论里面没有介绍。
三、两者之间的关系
信息增益是描述前后两种不同状态的信息熵变化，即确定性的增加量，分类本质就是将一个系统中各种元素之间的分类关系（X,Y,Z,……）确定下来。
四、总结
Gain是各元素之间的人为定义的关系信息，I只是两两之间客观关系信息，当然I也能够扩展，通过扩展可以计算得到gain，不论是I还是gain他们都是关系信息，而非事件信息。
信息增益（Kullback–Leibler divergence）和互信息之间的联系，就是互信息可以通过信息增益公式来计算。都是用概率来描述差异或者变化的量。这个只是从公式上来看，如果到具体的应用会有不同的解释。