如何更通俗地理解信息论中的熵及其在其他领域中的应用？ 举报 理由 举报 取消 熵在决策树模型中被应用，然而关于熵的含义理解还是非常浅显。神人可否出来给一个自己的更通俗的理解？ 2017年7月31日 1 条回复 758 次浏览 信息论,学习,数据挖掘,数理,机器,概率论,统计
回复 ( 1 )
写过一篇关于 KL 散度的理论＋运用的文章：KL 散度（从动力系统到推荐系统）
在信息论和动力系统里面，Kullback-Leibler 散度（简称 KL 散度，KL divergence）是两个概率分布 P 和 Q 的一个非对称的度量公式。这个概念是由 Solomon Kullback 和 Richard Leibler 在 1951 年引入的。从概率分布 Q 到概率分布 P 的 KL 散度用 D_{KL}(P||Q) 来表示。尽管从直觉上看 KL 散度是一个度量或者是一个距离，但是它却不满足度量或者距离的定义。例如，从 Q 到 P 的 KL 散度就不一定等于从 P 到 Q 的 KL 散度。本文即将介绍如何将动力系统的概念运用到实际推荐系统的工作中，从而达到更佳的推荐效果。
详细请见：KL 散度（从动力系统到推荐系统）