基本概念
最小均方估计(Minimum Mean-Square Estimation,缩写 MMSE)是一种统计估计方法,其核心目标是在所有可能的估计量中,找到使均方误差(MSE)最小化的那一个。给定观测数据 ,MMSE 估计量定义为使 最小的 ,其解恰好是后验分布的条件期望 。
MMSE 在贝叶斯统计框架下具有特殊地位:它是最优的点估计量,前提是损失函数为二次形式。当信号和噪声均服从高斯分布时,MMSE 估计量退化为线性形式,即与 卡尔曼滤波器 给出的估计一致。
数学推导
设待估计的随机变量为 ,观测量为 ,其中 是零均值噪声。MMSE 估计量需要最小化代价函数:
对 求导并令其为零,可以得到:
在线性高斯假设下(即 和 均为高斯分布),MMSE 估计量可表示为观测的线性函数:
其中 是 和 的互协方差矩阵, 是 的自协方差矩阵。
与相关方法的关系
| 方法 | 假设条件 | 最优性 | 计算复杂度 |
|---|---|---|---|
| MMSE | 需要完整的后验分布 | 全局最优(二次损失下) | 通常较高 |
| LMMSE(线性 MMSE) | 仅需一阶和二阶统计量 | 线性估计中最优 | 较低 |
| MAP | 需要后验分布 | 后验概率最大 | 取决于分布 |
| 最小二乘 | 无概率假设 | 残差平方和最小 | 较低 |
在高斯分布条件下,MMSE、LMMSE 和 MAP 三者给出相同的估计结果。
应用场景
MMSE 广泛应用于信号处理和控制领域。在 数据融合 问题中,当需要从多个含噪声的传感器测量中估计目标状态时,MMSE 提供了理论上最优的融合策略。卡尔曼滤波器 本质上就是在线性高斯系统中递归地实现 MMSE 估计,通过预测-更新的两步迭代,在线地给出状态的最优估计及其不确定性。
在非线性或非高斯场景中,精确的 MMSE 通常难以计算,需要借助粒子滤波、无迹变换等近似方法来逼近条件期望。