在惩罚回归中，"收缩"（Shrinkage）是指通过向损失函数添加正则化项，强制模型系数向原点方向缩小，从而降低模型复杂度的过程。这种技术能有效防止过拟合，提升模型泛化能力。具体表现为：

1. L1收缩（Lasso回归）
   通过添加系数绝对值之和（L1范数）作为惩罚项，不仅缩小系数，还可能将不重要的特征系数压缩至零，实现特征选择。例如，当惩罚力度足够大时，部分变量会被完全剔除。

2. L2收缩（岭回归）
   通过添加系数平方和（L2范数）作为惩罚项，使所有系数均匀缩小但不会变为零。这种收缩方式能缓解多重共线性问题，保持模型稳定性。例如，岭回归系数路径显示，随着惩罚参数增大，所有系数均向零收缩。

3. 收缩的作用

• 控制方差：通过牺牲部分拟合优度（偏差增加），显著降低模型方差。

• 处理高维数据：当特征数超过样本数时，收缩可避免因矩阵不可逆导致的过拟合。

• 特征筛选：L1收缩天然具备稀疏性，适合高维特征筛选。

收缩程度由正则化参数（如岭回归的λ）控制：参数越大，收缩越强。实际应用中需通过交叉验证选择最优参数值。