什么是正则化回归
正则化回归是一种用于处理线性回归模型过拟合问题的技术。过拟合指的是模型在训练数据上表现很好，但在未见过的数据上表现较差的情况。正则化通过在模型的损失函数中引入额外的惩罚项，限制模型参数的大小，从而减少过拟合的风险。
在正则化回归中，有两种常见的方法：L1正则化（Lasso）和L2正则化（Ridge）。
-
L1正则化（Lasso）:
-
L1正则化通过在损失函数中添加参数权重的绝对值之和来实现。它的损失函数可以表示为：
其中，θ是模型的参数，MSE(θ) 是均方误差（Mean Squared Error），λ是正则化参数，用于控制正则化的强度。L1正则化的效果是推动一些参数变成零，因此可以实现特征选择，使得模型更加稀疏。
-
-
L2正则化（Ridge）:
-
L2正则化通过在损失函数中添加参数权重的平方和来实现。它的损失函数可以表示为：
其中，符号的含义同上。L2正则化的效果是减小参数的大小，防止参数过大，从而减缓过拟合。
-
正则化参数 λ 的选择是一个关键问题。过小的 λ会失去正则化的效果，而过大的 λ可能使模型过于简单。通常，可以通过交叉验证来选择合适的正则化参数。
正则化回归的优点包括：
- 防止过拟合： 通过控制模型参数的大小，正则化可以有效减少过拟合的风险。
- 特征选择： L1正则化可以推动一些特征的系数为零，实现自动特征选择。
- 稳定性： 正则化可以提高模型的稳定性，使其对数据的变化更具鲁棒性。
对于宽数据（或表现出多重共线性的数据），简单线性回归的一种替代方法是使用正则化回归（通常也称为惩罚模型或收缩方法）来限制所有系数估计的总大小。此约束有助于减少系数的大小和波动，并将减少我们模型的方差。
[目的]：防止过拟合
[原理]：在损失函数上加上某些规则（限制），缩小解空间，从而减少求出过拟合解的可能性
岭回归（Ridge Regression）、套索回归（Lasso Regression）和弹性网回归（Elastic Net Regression）都是正则化线性回归模型，它们在损失函数中引入了额外的正则化项，以限制模型参数的大小，从而防止过拟合。
岭回归
本质上，岭回归模型将许多相关特征推向彼此，而不是允许一个极度积极而另一个极度消极。此外，许多不太重要的功能也被推向了零。这有助于清晰地识别数据中的重要信号。
-
正则化项： 岭回归在损失函数中添加了参数权重的平方和，即 L2 正则化项。其损失函数可以表示为：
岭回归通过最小化残差平方和和参数平方和的和来估计模型参数。这有助于防止模型参数过大，特别是在存在共线性的情况下。
# 首先，使用 model.matrix() 函数从 pdp 包中的 boston 数据集中提取自变量，并将其保存在 boston_train_x 中。
# 然后，从 pdp::boston 中提取因变量 cmedv 并将其保存在 boston_train_y 中。
# 接下来，使用 glmnet::glmnet() 函数建立一个岭回归模型，将自变量 boston_train_x 和因变量 boston_train_y 作为参数传递给该函数。
boston_train_x <- model.matrix(cmedv ~ ., pdp::boston)[, -1]
boston_train_y <- pdp::boston$cmedv
boston_ridge <- glmnet::glmnet(
x = boston_train_x,
y = boston_train_y,
alpha = 0
)
# 将模型拟合结果中的lambda值提取出来并转换成数据框lam。
#将岭回归模型结果中的系数提取出来，转换为数据框results。最后，使用left_join()函数将结果数据框与lam数据框合并，以将每个系数对应的正则化惩罚项的名称添加到结果中。
#使用group_by()函数和filter()函数选出在lambda值最小的情况下绝对值最大的五个系数，并将其保存在result_labels数据框中。
lam <- boston_ridge$lambda %>%
as.data.frame() %>%
mutate(penalty = boston_ridge$a0 %>% names()) %>%
rename(lambda = ".")
results <- boston_ridge$beta %>%
as.matrix() %>%
as.data.frame() %>%
rownames_to_column() %>%
gather(penalty, coefficients, -rowname) %>%
left_join(lam)
result_labels <- results %>%
group_by(rowname) %>%
filter(lambda == min(lambda)) %>%
ungroup() %>%
top_n(5, wt = abs(coefficients)) %>%
mutate(var = paste0("x", 1:5))
# ggplot()函数绘图
ggplot() +
geom_line(data = results, aes(lambda, coefficients, group = rowname, color = rowname), show.legend = FALSE) +
scale_x_log10() +
geom_text(data = result_labels, aes(lambda, coefficients, label = var, color = rowname), nudge_x = -.06, show.legend = FALSE)
套索回归
-
正则化项： 套索回归在损失函数中添加了参数权重的绝对值之和，即 L1 正则化项。其损失函数可以表示为：
套索回归具有稀疏性，即它有助于推动一些参数变为零，从而实现特征选择。这使得套索回归在具有大量特征的情况下，可以更容易地选择重要的特征。
# 使用 glmnet 包中的 glmnet() 函数来构建一个 Lasso 回归模型，使用的数据是 pdp::boston 数据集
boston_train_x <- model.matrix(cmedv ~ ., pdp::boston)[, -1]
boston_train_y <- pdp::boston$cmedv
boston_lasso <- glmnet::glmnet(
x = boston_train_x,
y = boston_train_y,
alpha = 1
)
# boston_lasso$lambda: Lasso 正则化中的惩罚项系数，这里将其转换为数据框形式，并将列名改为 lambda。
# boston_lasso$beta: Lasso 正则化后的回归系数，这里将其转换为矩阵形式，再将其转换为数据框形式，并将行名改为 rowname。
# penalty: 用于记录惩罚项的名称，这里将其设置为 boston_lasso$a0 的名称，然后将列名改为 penalty。
lam <- boston_lasso$lambda %>%
as.data.frame() %>%
mutate(penalty = boston_lasso$a0 %>% names()) %>%
rename(lambda = ".")
results <- boston_lasso$beta %>%
as.matrix() %>%
as.data.frame() %>%
rownames_to_column() %>%
gather(penalty, coefficients, -rowname) %>%
left_join(lam)
result_labels <- results %>%
group_by(rowname) %>%
filter(lambda == min(lambda)) %>%
ungroup() %>%
top_n(5, wt = abs(coefficients)) %>%
mutate(var = paste0("x", 1:5))
# 绘图
ggplot() +
geom_line(data = results, aes(lambda, coefficients, group = rowname, color = rowname), show.legend = FALSE) +
scale_x_log10() +
geom_text(data = result_labels, aes(lambda, coefficients, label = var, color = rowname), nudge_x = -.05, show.legend = FALSE)
弹性网回归
-
正则化项： 弹性网回归是岭回归和套索回归的混合，同时包含 L1 正则化项和 L2 正则化项。其损失函数可以表示为：
弹性网引入了混合比例参数α，当α=0 时，相当于岭回归；当α=1时，相当于套索回归。中间值表示在两种正则化之间进行权衡。
选择合适的正则化方法以及正则化参数λ和α通常需要通过交叉验证等技术进行调优。这些方法在处理共线性、特征选择以及防止过拟合方面都具有一定的优势，具体选择取决于问题的特征和数据的性质。
# alpha参数控制弹性网络回归中L1正则化（Lasso）和L2正则化（Ridge）的权重，当alpha为0时，表示只有Ridge回归；当alpha为1时，表示只有Lasso回归；当alpha在0和1之间时，表示同时使用L1和L2正则化，即弹性网络回归。
boston_elastic <- glmnet::glmnet(
x = boston_train_x,
y = boston_train_y,
alpha = .2
)
# boston_elastic <- glmnet::glmnet(: 使用glmnet函数创建一个弹性网络回归模型对象，并将结果赋值给变量boston_elastic。
lam <- boston_elastic$lambda %>%
as.data.frame() %>%
mutate(penalty = boston_elastic$a0 %>% names()) %>%
rename(lambda = ".")
results <- boston_elastic$beta %>%
as.matrix() %>%
as.data.frame() %>%
rownames_to_column() %>%
gather(penalty, coefficients, -rowname) %>%
left_join(lam)
result_labels <- results %>%
group_by(rowname) %>%
filter(lambda == min(lambda)) %>%
ungroup() %>%
top_n(5, wt = abs(coefficients)) %>%
mutate(var = paste0("x", 1:5))
# 绘图
ggplot() +
geom_line(data = results, aes(lambda, coefficients, group = rowname, color = rowname), show.legend = FALSE) +
scale_x_log10() +
geom_text(data = result_labels, aes(lambda, coefficients, label = var, color = rowname), nudge_x = -.05, show.legend = FALSE)
实例
要应用正则化模型，我们可以使用该glmnet::glmnet()函数。该alpha参数告诉glmnet执行 ridge ( alpha = 0)、lasso ( alpha = 1) 或 elastic net ( 0 < alpha < 1) 模型。
- 由于正则化方法对系数应用惩罚，我们需要确保我们的系数在一个共同的尺度上。如果不是，那么具有自然较大值（例如，总平方英尺）的预测器将比具有自然较小值（例如，房间总数）的预测器受到更多惩罚。默认情况下，glmnet会自动标准化功能。如果在glmnet之前标准化预测变量，可以使用standardize = FALSE.
- glmnet将适用于广泛的岭模型λ
# 将ames_train数据集进行Ridge回归分析。
# glmnet函数用于执行Ridge回归分析，alpha设置为0表示进行Ridge回归。
# plot函数用于画出岭迹图，横轴为惩罚项系数λ，纵轴为回归系数的绝对值。在该图中，可以观察到λ逐渐增大时，回归系数趋向于缩小。此外，通过观察岭迹图可以选择一个合适的λ值，以达到平衡模型复杂度和拟合效果的目的。
X <- model.matrix(Sale_Price ~ ., ames_train)[, -1]
Y <- log(ames_train$Sale_Price)
ridge <- glmnet(
x = X,
y = Y,
alpha = 0
)
plot(ridge, xvar = "lambda")
