XGBoost（二）：R语言实现

原文链接：XGBoost（二）：R语言实现

微信公众号：机器学习养成记

之前在XGBoost（一）：与同类算法的差异对比一文中介绍了Bagging与Boost、AdaBoost与Gradient Boost、GBDT与XGBoost对比，本文我们接着来介绍如何在R中实现XGBoost。

一、XGBoost包

我们可以直接调用R语言的xgboost包中的xgboost()函数实现该算法，xgboost包已经上传到CRAN上，可直接通过install.packages("xgboost")进行安装。下面首先对几个主要参数进行介绍👇

二、数据预处理

xgboost仅适用于数值型向量，因此在训练模型前需要对数据进行相应的转化操作。另外，为了进一步提升运算效率，xgboost定义了独有的数据类型，方便对数据进行数值化和稀疏化处理，进行数据转换的函数如下👇

xgb_train <- xgb.DMatrix(train$data, label=train$label)

其中，train$data代表数据中的变量信息，train$label代表类别信息，运行后生成xgb.DMatrix格式的数据。

三、XGBoost代码实现

本例中我们使用uci上的酒质量评价数据，该数据通过酸性、ph值、酒精度等11个维度对酒的品质进行评价，对酒的评分为0-10分。

数据加载

从uci上将数据导入r，并对数据根据7:3的比例划分为训练集和测试集。

url <- 'https://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv'

redwine <- read.csv(url,sep = ';')

url1 <- 'https://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv'

whitewine <- read.csv(url1,sep = ';')

data <- rbind(redwine,whitewine)

#训练集、测试集划分

set.seed(17)

index <- which( (1:nrow(data))%%3 == 0 )

train <- data[-index,]

test <- data[index,]

数据预处理

将数据转化为gb.DMatrix类型，并对label进行处理，超过6分为1，否则为0。

library("xgboost")

library("Matrix")

train_matrix <- sparse.model.matrix(quality ~ .-1, data = train)

test_matrix <- sparse.model.matrix(quality ~ .-1, data = test)

train_label <- as.numeric(train$quality>6)

test_label <- as.numeric(test$quality>6)

train_fin <- list(data=train_matrix,label=train_label)

test_fin <- list(data=test_matrix,label=test_label)

dtrain <- xgb.DMatrix(data = train_fin$data, label = train_fin$label)

dtest <- xgb.DMatrix(data = test_fin$data, label = test_fin$label)

模型训练

训练模型，并对特征进行重要性排序。

#模型训练

xgb <- xgboost(data = dtrain,max_depth=6, eta=0.5,

objective='binary:logistic', nround=25)

#重要重要性排序

importance <- xgb.importance(train_matrix@Dimnames[[2]], model = xgb)

head(importance)

xgb.ggplot.importance(importance)

# Feature Gain Cover Frequency

#1: alcohol 0.27474736 0.14183897 0.09489917

#2: citric.acid 0.09380095 0.10530341 0.10557533

#3: volatile.acidity 0.09185450 0.10973963 0.08896797

#4: density 0.08476201 0.14420940 0.10557533

#5: chlorides 0.06978699 0.08309346 0.09845789

#6: sulphates 0.06925068 0.05679062 0.09371293

测试集效果检验

计算混淆矩阵并绘制ROC曲线图。

#混淆矩阵

pre_xgb = round(predict(xgb,newdata = dtest))

table(test_label,pre_xgb,dnn=c("true","pre"))

# pre

#true 0 1

# 0 1633 95

# 1 197 240

#ROC曲线

xgboost_roc <- roc(test_label,as.numeric(pre_xgb))

plot(xgboost_roc, print.auc=TRUE, auc.polygon=TRUE,

grid=c(0.1, 0.2),grid.col=c("green", "red"),

max.auc.polygon=TRUE,auc.polygon.col="skyblue",

print.thres=TRUE,main='ROC curve')

公众号后台回复“xgbR”获得完整代码