准对称离散无记忆信道容量的矩阵分解法推广与严谨证明(P124302086杨雪)

摘要:本文针对离散无记忆信道(DMC)中一类重要的信道——准对称信道(Quasi-Symmetric Channel),对其信道容量的“矩阵分解法”计算公式进行了严格的数学推导与证明。通过将转移概率矩阵划分为若干互不相交的对称子矩阵,结合信息论中熵的极值理论、输出符号概率分布的重构以及矩阵元素双重计数法(Double Counting),完整论证了当输入符号等概分布时信道达到最大互信息,并推导出其信道容量的闭式表达式。最终,通过一个全新构建的三阶非对称微调矩阵进行了算例验证。

一、 基本概念与问题描述

1.1 准对称离散无记忆信道定义

设离散无记忆信道的输入符号集为,输出符号集为。信道的转移概率矩阵为,其大小为


若矩阵可以按列划分为个互不相交的子矩阵,且每一个子矩阵(大小为)都满足“每一行都是其他行的置换(排列),每一列都是其他列的置换”,则称该信道为准对称信道

1.2 参数定义

根据准对称信道的强对称几何性质,对于任意第个子矩阵

  • 行元素之和(:因每行元素相同或互为置换,其行和在子矩阵内部均相等,记为
  • 列元素之和(:因每列元素相同或互为置换,其列和在子矩阵内部均相等,记为
  • 输入行向量性质:由于各个子矩阵拼接后构成完整的,整个矩阵的任意一行所包含的元素集合是完全相同的,将其总集记为,其中为总列数。

二、 核心定理

对于输入符号数为的准对称离散无记忆信道,其信道容量可由下式唯一确定:


其中'表现为转移概率矩阵中任意一行的条件熵

三、 数学证明与推导

步骤 1:条件熵的恒等性与容量公式简化

由于信道具有行置换对称性,对于任意指定的输入符号,其条件熵为常数:


由于该值与具体的输入状态无关,因此平均条件熵可以直接提取平移:


根据信道容量的定义,由于HY|X已被固定,极大化互信息等价于极大化输出熵:


步骤 2:等概输入分布的合理性论证

设输入概率分布为。输出熵是输入分布的严格凹函数(Strictly Concave Function)。由于准对称矩阵中各行可以通过置换相互转换,系统对任意输入符号具有代数对称性。根据凸优化中的对称性定理,当且仅当输入满足均匀的等概分布时,输出熵达到全局极大值:


步骤 3:子矩阵规模的几何双重计数(Double Counting)

考虑第个子矩阵,其行数为,设其列数为

我们通过行、列两种不同的视角来计算该子矩阵内所有元素的总和

  1. 按行求和:每行和为,共行:
  2. 按列求和:每列和为,共列:

由此建立拓扑恒等式:


由于各个子矩阵空间互不相交且全覆盖总矩阵,根据全概率限制,原始矩阵每一行的总和必须为。因此有:


步骤 4:等概输入下的输出概率分布计算

将等概分布代入全概率公式,任意一个输出符号的概率为:


其中为第列的列和。

若该列隶属于第个子矩阵,则其列和必然为。因此,隶属于同一子矩阵的所有输出符号概率完全简并:


步骤 5:输出熵 H(Y)的代数展开与化简

根据输出熵定义,引入子矩阵指标进行分组求和:


由于第个分组中共有个元素,上式简化为:


将步骤3中的几何归约式代入:


利用对数性质展开并分离项:


结合归一化条件,输出熵的极大值精简为:


步骤 6:合成信道容量闭式解

将极大输出熵与平均条件熵代入容量定义式,即得:


证毕。

四、实例验证

为了验证上述推导的普适性,我们自行构建一个具有 2 个输入符号、4 个输出符号(,)的全新准对称信道。其转移概率矩阵设为:


1. 传统方法计算(对照组)

输入等概

  • 条件熵

每行均为,故


  • 输出概率




  • 输出熵

  • 信道容量


2. 矩阵分解法计算(实验组)

将矩阵拆分为三个不相交的对称子矩阵):

    • 子矩阵(前两列)行和
    • 列和子矩阵(第三列)行和

列和子矩阵=(第四列)行和列和代入本文证明的矩阵分解公式:



合并后两项(因为):


计算该项的值:


最终求得容量


结论:通过全新的三子矩阵数据进行验算,矩阵分解法求得的容量与定义法完全一致,再次证明了该定理推导的无误性与严密性。