基本概念

最小均方估计(Minimum Mean-Square Estimation,缩写 MMSE)是一种统计估计方法,其核心目标是在所有可能的估计量中,找到使均方误差(MSE)最小化的那一个。给定观测数据 ,MMSE 估计量定义为使 最小的 ,其解恰好是后验分布的条件期望

MMSE 在贝叶斯统计框架下具有特殊地位:它是最优的点估计量,前提是损失函数为二次形式。当信号和噪声均服从高斯分布时,MMSE 估计量退化为线性形式,即与 卡尔曼滤波器 给出的估计一致。

数学推导

设待估计的随机变量为 ,观测量为 ,其中 是零均值噪声。MMSE 估计量需要最小化代价函数:

求导并令其为零,可以得到:

在线性高斯假设下(即 均为高斯分布),MMSE 估计量可表示为观测的线性函数:

其中 的互协方差矩阵, 的自协方差矩阵。

与相关方法的关系

方法假设条件最优性计算复杂度
MMSE需要完整的后验分布全局最优(二次损失下)通常较高
LMMSE(线性 MMSE)仅需一阶和二阶统计量线性估计中最优较低
MAP需要后验分布后验概率最大取决于分布
最小二乘无概率假设残差平方和最小较低

在高斯分布条件下,MMSE、LMMSE 和 MAP 三者给出相同的估计结果。

应用场景

MMSE 广泛应用于信号处理和控制领域。在 数据融合 问题中,当需要从多个含噪声的传感器测量中估计目标状态时,MMSE 提供了理论上最优的融合策略。卡尔曼滤波器 本质上就是在线性高斯系统中递归地实现 MMSE 估计,通过预测-更新的两步迭代,在线地给出状态的最优估计及其不确定性。

在非线性或非高斯场景中,精确的 MMSE 通常难以计算,需要借助粒子滤波、无迹变换等近似方法来逼近条件期望。