最小二乘法（Least Squares）是通过最小化残差平方和来寻找最佳拟合解的优化方法。
当方程组没有精确解、观测带噪声，或约束数量多于未知量时，最小二乘法会选择让整体误差“平方和最小”的解。在机器人 IK 中，基于雅可比矩阵的更新常被写成最小二乘问题；DLS 则是在这个问题中加入阻尼项，用更稳的近似解换取奇异附近的数值稳定性。
线性形式
经典线性最小二乘写成：
其中 是残差。若 满秩且问题适定，正规方程为：
但直接解正规方程可能放大数值误差。实际工程中常用 QR 分解、SVD 或专门的稀疏优化器来求解。
为什么用平方
平方残差有几个好处：可微、对大误差惩罚更重、在线性高斯噪声假设下对应最大似然估计。但它也会让离群点影响变大，所以视觉、SLAM 和机器人标定中常配合鲁棒核函数或异常值剔除。
欠定与超定
- 超定系统：方程多于未知量，通常没有精确解，最小二乘找残差最小的折中解。
- 欠定系统：未知量多于方程，可能有无穷多解，常选范数最小或带正则项的解。
IK 中两种情况都常见：6 轴机械臂解 6D 位姿接近方阵问题，7 轴机械臂解 6D 位姿则存在冗余自由度。
正则化
当问题病态、数据噪声大或解不稳定时，可以加入正则项：
DLS 就可以看成这种思想在雅可比 IK 中的应用：不要只追残差最小，也要约束关节增量不要过大。