稳健回归（Robust Regression）是一类针对异常值（Outliers）和模型假设违反（如异方差性、杠杆点）具有更强抗干扰能力的回归分析方法。其核心目标是减少极端值对模型参数估计的影响，使回归结果更可靠。以下是系统性的详细讲解：

一、为什么需要稳健回归？

1. OLS的局限性
   • 对异常值敏感：普通最小二乘法（OLS）通过最小化残差平方和（SSE）估计参数，异常值因残差大，会显著拉偏回归线。

   • 假设严格：OLS要求误差项满足同方差、无自相关等假设，现实数据常违反这些条件。

2. 稳健回归的核心思想
   • 降低异常值权重：通过调整损失函数或权重分配，减少异常值对参数估计的影响。

   • 放宽假设：允许误差项存在异方差或非线性关系，增强模型鲁棒性。

二、稳健回归的分类

1. M-估计（M-Estimation）
   • 核心思想：替换OLS的损失函数（平方损失），使用对异常值不敏感的函数（如绝对值、Huber函数）。

   • 常见方法：

   ◦ Huber回归：对中等异常值鲁棒，权重逐渐衰减。

   ◦ Bisquare回归（Tukey双权函数）：对异常值更严厉，直接截断权重。

   • 公式示例：

   ◦ Huber损失函数：

   $$
     \rho(e) =
     \begin{cases}
     \frac{1}{2}e^2 & |e| \leq k \
     k|e| - \frac{1}{2}k^2 & |e| > k
     \end{cases}
   $$
   ◦ Bisquare损失函数：

   $$
     \rho(e) =
     \begin{cases}
     \frac{k^2}{6}\left(1 - \left(1 - \frac{e^2}{k^2}\right)^3\right) & |e| \leq k \
     \frac{k^2}{6} & |e| > k
     \end{cases}
   $$
   ◦ 其中，$k$ 是调参常数（Huber取$k=1.345$，Bisquare取$k=4.685$）。

2. RANSAC（随机抽样一致性）
   • 核心思想：迭代选择“内点”（Inliers）子集拟合模型，剔除异常值。

   • 步骤：

1. 随机抽取最小样本子集（如线性回归需2个点）。

2. 用子集拟合模型。

3. 计算所有数据点的残差，保留残差小于阈值的“内点”。

4. 重复上述过程，选择内点最多的模型。

3. L1回归（LAD回归）
   • 核心思想：最小化残差的绝对值和（中位数回归），天然对异常值鲁棒。

   • 公式：

   $$
   \min \sum_{i=1}^n |Y_i - X_i^T \beta|
   $$
   • 优点：直接中位数估计，无需迭代。

4. 其他方法
   • 加权最小二乘（WLS）：通过赋予不同权重（如与残差倒数相关）降低异常值影响。

   • 分位数回归（Quantile Regression）：拟合不同分位数的条件分布，避免依赖均值。

三、稳健回归 vs. OLS

四、稳健回归的实现步骤（以M-估计为例）

1. 初始化：用OLS估计初始系数。

2. 计算残差：根据当前模型计算每个观测的残差。

3. 赋予权重：根据残差计算权重（如Huber权重或Bisquare权重）。

4. 迭代更新：用加权最小二乘法（WLS）重新估计系数。

5. 收敛判断：重复步骤2-4，直到系数变化小于阈值。

示例代码（Python）

import statsmodels.api as sm

# 使用Huber方法拟合稳健回归
model = sm.RLM(data.y, data.x, M=sm.robust.norms.HuberT())
results = model.fit()
print(results.summary())

# 使用Bisquare方法
model_bisquare = sm.RLM(data.y, data.x, M=sm.robust.norms.TukeyBiweight())
results_bisquare = model_bisquare.fit()
print(results_bisquare.summary())

五、稳健回归的优缺点
优点

1. 抗异常值：显著降低极端值对参数估计的影响。

2. 无需删除数据：保留全部样本，避免信息损失。

3. 适用性广：适用于复杂误差结构（如异方差、高杠杆点）。

缺点

1. 计算复杂：迭代算法增加计算成本。

2. 参数敏感：如Huber的$k$值需调参，选择不当可能影响结果。

3. 解释性弱：模型参数含义不如OLS直观。

六、实际应用场景

1. 金融数据：资产收益率中的异常波动（如Black Swan事件）。

2. 医学研究：患者数据中的离群值（如极端生理指标）。

3. 工业检测：传感器数据中的噪声干扰。

七、总结
稳健回归通过改进损失函数或权重分配，有效应对OLS对异常值的敏感性，是实际数据分析中不可或缺的工具。选择方法时需权衡计算成本、参数调优难度及数据特性：
• 轻度异常值：Huber回归。

• 重度异常值：Bisquare回归或RANSAC。

• 分位数分析：L1回归（中位数回归）。