信息论之联合熵、边缘熵、条件熵

联合熵（Joint Entropy）是信息论中的一个重要概念，它衡量的是两个或多个随机变量作为一个整体的平均不确定性。 

边缘熵（Marginal Entropy）是信息论中的一个概念，它指的是在多变量概率分布中，仅考虑单个随机变量时的熵值。

 这编辑框不支持特殊数学符号，打字也困难，直接贴上书上的图片。

 

核心概念

简单来说，熵𝐻(𝑋)衡量单个随机变量 𝑋  的信息量或不确定性。联合熵 𝐻 (𝑋,𝑌) 则衡量同时观察到变量𝑋和变量 𝑌  的值所带来的总不确定性或平均信息量。 

例如，如果你要预测一个人的身高（变量 X）和体重（变量 Y）：

• 预测身高有一定的不确定性 𝐻 ( 𝑋  )
  
• 预测体重有一定的不确定性 𝐻 ( 𝑌  )
  
• 同时预测身高和体重的组合（例如，“身高170cm且体重65kg”）的不确定性就是联合熵𝐻 (𝑋,𝑌) 

 

总结

联合熵是衡量多个变量集体不确定性的度量，是理解和量化复杂数据关系的基础工具，在机器学习、自然语言处理和数据压缩等领域都有重要应用。

摘自：《信息论》